Home

악성코드 작성자가 탐지를 회피하고 자신의 이익을 보호하는 방법을 고려할 때 TLS와 같은 잘 확립되고 검증된 다목적 프로토콜이 유효한 옵션이 될 수 있다[4]-[6]. 최신 악성코드를 살펴보면 여러 작업에서 TLS를 사용하고 있다는 사실을 확인할 수 있다. Check Point Software Technologies의 보고서[7]에는 2020년 11월에 가장 많이 출현한 악성코드가 나열되어 있는데, 대부분이 TLS를 사용하고 있다. 악성코드가 TLS를 이용하는 방법은 기존 악성코드를 분석하면 다음과 같이 여러가지로 구분할 수 있다.

– 패이로드 은닉

TLS는 컴퓨터 감염을 숨기는 데 사용될 수 있다. 예를 들어, 사용자가 TLS를 사용하여 악성 웹 사이트를 방문 할 수 있으며, 이때 드라이브-바이-다운로드(Drive-by-download) 악성 코드는 사용자가 알지 못하는 사이에 스스로 설치된다. 악성 웹 서버와의 모든 통신은 암호화되기 때문에 악성 코드는 기업에서 설정한 패이로드 검사를 회피할 수 있다.

– 데이터 유출

암호화를 통해서 패스워드, 쿠키, 기업 데이터등의 민감한 데이터 유출이 은닉될 수 있다. 공격자는 서버 포트 443(일반적인 SSL대상 포트)을 사용하여 TLS로 캡슐화된 간단한 POST 요청을 통해서 의심을 유발하지 않고 중요한 정보를 유출할 수 있다.

– 명령 및 제어 (C & C)

악성코드에 감염된 컴퓨터가 TLS를 사용하여 C & C 명령을 난독화하는 경우가 증가하고 있다.

위와 같이 공격자는 암호화를 통해 패이로드 검사를 우회 할 수 있으며, 443 포트에 대한 TLS 트래픽을 사용함으로써 의심 없이 간과되도록 하고 있으며, 명령 및 제어 채널의 은닉에도 암호화를 이용함으로써 기존 보안 수단들을 우회하고 있다.

TLS는 정상적인 데이터와 악성코드에 의한 데이터를 동일하게 은닉하기 때문에 이러한 통신을 구분하는 것은 매우 중요하다. 현재까지 암호화된 TLS 트래픽 분석과 관련된 많은 연구가 진행되어 왔다. 암호화된 TLS 분석과 관련하여 가장 널리 사용되는 문서 중 하나는 Cisco 팀이 작성한 "Deciphering Malware's use of TLS (without Decryption)"이다[8].

Cisco 팀은 해당 연구에서 18개의 서로 다른 악성코드의 26000개의 악성 TLS 흐름 샘플과 기업 환경에서 수집된 정상 TLS 통신을 기반으로 다음과 같은 사실을 연구하였다:

• • 감염된 클라이언트의 ClientHello 패킷에서:
• – 악성코드는 정상 클라이언트와 완전히 다른 암호화 모듈 모음을 사용하며, 이러한 암호 모듈모음은 종종 약하거나 구형인 경우가 많다. 이에 비해 거의 모든 정상 TLS 프로그램은 동일한 암호화 모듈 모음을 사용한다.
• – 악성코드는 거의 하나 이상의 확장을 제공하지 않는 반면, 정상 클라이언트는 최대 9개의 확장을 제공한다.
• – 악성코드와 정상 클라이언트의 공개 키 길이는 서로 다르다.
• • 악성 서버의 ServerHello 및 Certificate 패킷에서:
• – 악성코드에 의해 쿼리된 서버는 흔하지 않은 암호 제품군을 선택한다.
• – 서버에서 선택한 확장에도 동일한 현상이 나타난다.
• – 인증서의 유효 기간도 차이가 난다.
• – 인증서가 여러 도메인 이름을 포함하도록 허용하는 인증서의 SAN(SubjectAltName) 항목 수는 상당한 차이가 있다.
• – 자체 서명된 인증서를 보내는 악성 서버의 비율은 일반 서버보다 훨씬 높다.

해당 연구에서 Cisco팀은 NetFlow 및 TLS 핸드 셰이크 메타 데이터의 조합을 이용하여 정상 및 악성 트래픽 간의 차이점에 중점을 두었는데, 데이터를 해독하지 않고 악성 코드 탐지와 악성 코드 계열 속성을 모두 평가하였다. 그들은 흐름 메타 데이터, 패킷 길이 및 시간 시퀀스, 바이트 분포, TLS 헤더 정보 네 가지 기능 세트를 사용하였다. 연구자들은 L1 로지스틱 회귀 분류기 모델을 사용하여 해당 데이터의 다양한 조합을 수집하여 전체적인 98.5 % - 99.6 % 악성코드 탐지율을 제시하였다. 로지스틱 회귀 분류기는 정상 트래픽으로만 훈련된 모델로 악성 트래픽을 테스트하였기 때문에 전체 분류 비율에서 오탐율을 반영하지 않았다[8][9].

Blake와 McGrew는 기존에 수행했던 연구[8][9]를 확장하여 강력한 암호화된 악성코드 탐지 분류기를 구축하고자 하였다. 해당 팀은 MalDetect라는 도구를 만들었는데, 새로운 샘플이 발견 될 때 재교육 또는 재배포를 방지하기 위해 온라인 모드에서 훈련이 가능한 온라인 랜덤 포레스트 분류기를 활용하였다[10].

해당 연구에서 정상트래픽과 애드웨어 및 악성코드 등 여러 트래픽 유형을 분류 할 수 있는 플랫폼을 개발하였으나, 미탐율은 애드웨어 및 동적 라우팅 프로토콜에서 각각 약 20% 및 50%를 나타냈다[10]. 해당 연구에서 동적으로 훈련 가능한 온라인 랜덤 포레스트 모델이라는 새로운 분석 수단을 소개했던 이유는 장기적인 사용성과 지속 가능성에 중점을 두었기 때문이다[10].

유명 보안 회사인 Lastline이 후원했던 프로젝트에서는 TLS 흐름을 분류하기 위해 TLS 메타 데이터에 중점을 두었다[11]. 해당 연구에서는 로지스틱 회귀, 랜덤 포레스트, K 최근접 이웃, 선형 판별 분석 및 선형 지원 벡터 분류기의 5가지 모델을 생성하였는데, 탐지 결과는 각각 다르게 나타났다. 전반적으로는 악성코드 분류 정확도가 97.6 % 인 모델을 제시하였다. 해당 연구에서는 악성 및 정상 TLS 핸드셰이크 메타데이터를 비교한 바 있는데, 특히, 악성코드와 정상 트래픽의 통신 메타데이터 특징 간의 차이에 대한 통찰력을 제공하였다.

본 논문에서는 캐나다 인터넷 등록 기관(Canadian internet registration authority)이 후원하는 캐나다 사이버 보안 연구소(CIC) 그룹에서 제공한 데이터 세트를 정상 데이터 세트로 사용하였다[12]. CIRA- CIC-DoHBrw-2020 데이터는 암호화된 트래픽의 시계열 분류를 통한 DoH 터널 탐지 연구[13]를 위해 수집된 데이터로서 2020년 초에 여러 주에 걸쳐 수집되었다. CIRA-CIC-DoHBrw-2020 데이터는 악성 및 정상 네트워크 캡처 파일을 모두 포함하는 레이블이 지정된 데이터 세트를 제공하는데 본 논문에서는 정상 네트워크 캡처 파일만을 이용하였다.

정상 TLS 네트워크 캡처 파일의 구성은 표 1과 같다. 표 1의 데이터에서 그림 3과 같이 TLS 클라이언트 및 서버 핸드셰이크를 추출하여 TLS 세션 메타 데이터를 생성하였고, 머신 러닝 모델을 실험하기 위하여 110,490개의 정상 TLS 세션의 데이터 세션 샘플을 포함하는 CSV 파일을 생성하였다.

Fig. 3. 
Benign TLS session data collection

악성 네트워크 캡처 파일은 모두 웹 사이트 Malware-traffic-analysis.net[14]에서 수집하였다. 해당 사이트는 다양한 최신 악성코드 샘플과 감염, 페이로드 전달 및 C2 트래픽 프로필이 포함된 수많은 네트워크 캡처 파일을 호스팅한다. 수집한 악성 TLS 트래픽 데이터 세트에서는 Dridex, TrickBot, Quakbot 등의 다양한 악성 코드 군에 속한 1,000 개의 악성코드 관련 트래픽 캡처 파일을 수집하였다. 수집한 TLS 기반 악성코드 종류 및 샘플 구성은 표 2와 같다.

표 2의 악성코드 샘플 트래픽 캡처 파일에서 그림 4와 같이 TLS 클라이언트 및 서버 핸드 셰이크를 추출하여 TLS 세션 메타 데이터를 생성하였고, 머신 러닝 모델을 실험하기 위하여 25,688개의 악성 TLS 세션 샘플을 포함하는 CSV 파일을 생성하였다.

Fig. 4. 
Malicious TLS session data collection

이전 관련 연구에서는 악성 TLS 핸드셰이크와 정상 TLS 핸드셰이크 간에 측정 가능한 차이를 발견하였다[11]. 따라서 본 논문에서는 NetFlow와 같은 패킷 메타데이터나 머신러닝 결과에 영향을 미치는 패킷 길이 및 시간 시퀀스와 같은 패킷 메타데이터를 사용[9]하지 않고 TLS 핸드셰이크 메타데이터에만 초점을 맞추고자 한다. TLS 핸드셰이크 과정에서 추출 가능한 통신 메타데이터는 총 511개로서 표 3과 같다.

본 논문에서는 효과적인 머신 러닝을 위한 데이터 특징 세트를 선별하기 위해서 먼저 정상 TLS 세션 메타데이터와 악성 TLS 세션 메타데이터의 비교를 통하여 차이가 발생하거나 발생 가능성이 높은 데이터 특징을 분석하여 선택하였다. 먼저 두 가지 데이터 세트에서 차이가 가장 많이 발생하는 특징을 각 데이터 세트에서 10가지를 선택하였다.

추가적인 데이터 분석으로 클라이언트가 제공하는 고유한 암호 제품군 및 서명 알고리즘의 수를 조사하여 추가하였는데, 정상 TLS 세션 데이터보다는 악성 TLS 세션 데이터에서 더 많은 암호 제품군 및 더 다양한 서명 알고리즘을 사용하는 특징이 발견되어 이를 반영하였다.

그림 5와 6은 정상 테이터의 암호 제품군 중요도와 악성코드 테이터의 암호 제품군 중요도를 나타낸다. 여기에 정상 TLS 통신 세션과 악성코드에 의한 TLS 통신 세션이 사용하는 TCP 목적지 및 소스 포트 번호 사용의 차이에 대한 데이터 특징을 추가하였다. 정상 및 악성코드 데이터의 목적지 포트 및 출발지 포트 차이는 그림 7, 8과 같다.

Fig. 5. 
Importance of cipher suite by benign data

Fig. 6. 
Importance of cipher suite by malware data

Fig. 7. 
Difference in destination ports usage of benign data and malware data

Fig. 8. 
Difference in source ports usage of benign data and malware data

TLS 세션 핸드셰이크 길이 및 메시지 길이와 같은 메타데이터 필드는 공격자가 임의로 변경할 수 없는 부분이므로 이러한 특징을 추가로 선택하여 반영하였다.

이러한 과정의 데이터 분석 및 특징 추출 과정을 통하여 표 4의 특징 세트를 추출하여 실험하였다.

본 논문에서는 두 가지 분류기를 사용하였는데, 이전 연구에서 가장 좋은 결과를 보여 주었던 의사 결정 트리(Decision tree)의 앙상블 기법 중 하나인 랜덤 포레스트(Random forest)와 또 다른 분류기로는 데이터 분류에 강점이 있는 서포트 벡터 머신(SVM, Support Vector Machine)을 분류기로 선택하였다.

Blake Anderson 및 David McGrew의 연구[8][9]에서 랜덤 포레스트방법이 가장 좋은 결과를 도출하였다. 랜덤 포레스트는 의사 결정 트리를 이용하는 앙상블 기법 중 하나인데, 앙상블 기법은 여러 분류 모델(Classification)을 이용하여 데이터를 학습하고 모든 모델의 예측 결과를 평균하여 예측하는 방법이다[15]. 랜덤 포레스트는 여러 의사 결정 트리의 평균 출력을 반환한다.

랜덤 포레스트의 가장 큰 특징은 무작위성(Randomness)에 의해 트리들이 서로 조금씩 다른 특성을 갖는다는 점이다. 이 특성은 각 트리들의 예측 값들 간에 상관관계를 줄임으로써 예측 값을 일반화(Generalization)하는 의사 결정 트리의 단점을 보완한 앙상블 기법이다.

또 다른 분류기로는 데이터 분류에 강점이 있는 서포트 벡터 머신을 분류기로 선택하였다. SVM은 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용한다[16]. 두 가지 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 생성하는 방식으로 데이터 분류에 강점이 있다. 생성된 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 SVM 알고리즘은 가장 합리적인 경계를 찾는 알고리즘이다. SVM은 선형 분류와 더불어 비선형 분류에서도 사용될 수 있다. SVM은 다양한 문제에 대해 강력하고 최적의 결과를 생성하는 방식이다[17].

머신 러닝 분류 모델을 평가하기 위한 다양한 평가 기준들이 존재한다. 분류 모델에 대한 모델 평가는 데이터에 라벨이 있는 경우에 대한 모델 평가 방법을 사용한다. 모델의 정확도가 100%이면, 양성과 음성 데이터를 100% 잘 구분 할 것이다. 양성으로 예측된 영역을 Positive prediction, 음성으로 분리된 영역을 Negative prediction 이라고 한다. 실제에서는 정확도 100% 모델은 매우 드물고, 다음의 네 가지 경우가 발생한다.

양성인데 양성으로 제대로 검출한 것은 TP(True Positive), 음성인데 음성으로 제대로 검출한 것은 TN(True Negative), 양성인데 음성으로 잘못 검출한 것은 FN(False Negative), 음성인데 양성으로 잘못 검출한 것은 FP(False Positive)라고 하는데 이를 정리하여 표현하면 표 5와 같다.

표 5를 이용하여 분류 모델의 성능을 나타내는 척도 중 하나는 정확성(Accuracy)이다. 정확성은 가장 대표적으로 사용되는 머신 러닝 모델 평가지표로서 전체 데이터 중에서 제대로 분류된 데이터의 비율을 표현한다. 정확성은 (TP + TN) / (전체 데이터 수 = P + N)로 표현되며, 해당 모델이 얼마나 정확하게 분류를 하는지를 나타낸다. 에러율(Error rate)은 (FN+FP) / (전체 데이터 수 = P+N) 로 표현되며 정확성과 반대로, 전체 데이터 중에서 잘못 분류한 비율을 나타낸다.

민감도(Sensitivity) 또는 재현율(Recall)은 (TP) / P로 표현되며, 원래 양성 데이터 수에서 양성으로 분류된 비율을 나타내는데, 모델이 얼마나 정확하게 양성 값을 찾는 지를 나타낸다. 정밀도(Precision)는 TP / (TP+FP) 로 표현되며, 양성으로 예측한 데이터 중에서 실제 양성 데이터의 비율을 나타낸다.

본 논문에서 사용한 첫 번째 SVM 분류 모델은 무작위로 선택된 25,000개 샘플로 훈련한 후 전체 데이터 세트를 사용하여 검증한 결과, 표 6과 같이 약 96.6%의 평균 재현율로 결과를 예측하였다. SVM 모델은 전체 데이터 세트에 일부 악성코드를 제외한 대부분의 악성코드 인스턴스 즉, 99.7% 이상의 악성코드 인스턴스를 효과적으로 탐지할 수 있음을 보여주었는데, 이 결과는 Roques의 연구 결과[11] 보다 개선된 탐지 성능을 보여주며, 본 논문의 목표였던 머신 러닝 분류기를 활용한 악성 TLS 세션에 대한 정확한 식별 가능성을 나타내는 중요한 성과이다.

본 논문에서 두 번째로 사용했던 랜덤 포레스트 분류기는 악성코드 인스턴스에 의한 TLS 세션 탐지에 대해 99.5% 정확도를 나타냈으며, 이는 Roques의 연구 결과[11]와 유사한 정도의 정확도를 나타냈다.

Roques[11]의 연구에서 전체적인 탐지 결과는 Cisco[9]와 유사한 정확성을 제시하였다. 본 연구에서는 이전의 연구 [9][11]와는 달리 패킷 길이 및 시간 시퀀스를 사용하지 않고 TLS 세션의 텍스트 부분에서 추출 가능한 56개 특징 세트만을 이용하여 Roques[11]의 연구와 유사한 정확성을 제시하였다. Roques11]의 지적대로 약간의 정확성 개선의 차이는 특징 선택, 훈련 데이터 세트의 크기, 내용 등에 의해서 달라질 수 있다.

본 연구에서는 TLS 세션의 텍스트 부분에서 추출 가능한 특징만을 사용한 머신 러닝 분류기를 활용하여 악성 TLS 세션에 대한 정확한 식별 가능성을 제시하였다.

모든 머신 러닝 기반 분류기에는 특징 선택, 훈련 데이터 세트의 크기 및 내용, 분류기 최적화 등 많은 요인으로 부터 기인하는 정확성에 차이가 있을 수밖에 없으므로 견고성을 개선하고 오탐율을 개선해야 한다는 한계가 있다. 그럼에도 불구하고 TLS 세션의 악성 여부 분석을 하기 위해서 본 논문에서 제안한 방식이 기존의 개인정보 보호를 훼손하는 동시에 성능 저하를 유발하는 TLS패킷 암호 해독 과정이 필요한 탐지 기술에 비해 상당한 장점이 있음을 확인하였다.