윈도우 API 의존 관계 그래프를 이용한 악성코드 인텔리전스 시스템 구축

Ⅰ. 서 론

악성코드 제작 기술의 발달로 신변종 악성코드의 출현 속도가 점차 빨라지고 있다. 악성코드 제작 도구를 사용하면 악성코드에 대해 깊은 지식이 없는 초보자도 간단히 악성코드를 제작할 수 있어 새로운 악성코드의 등장을 가속화하고 있다. 이러한 문제에 효율적으로 대처하기 위해 자동화된 악성코드 분석기술은 필수적이며 이에 대한 연구가 활발히 진행 중에 있다.

악성코드 분석기술은 크게 정적분석과 동적분석으로 구분된다. 정적분석은 악성코드 실행 없이 PE 파일의 구조를 분석하여 악성코드 여부 판정, 악성코드 간 유사도 분석 등을 수행하는 분석 기법이다. 분석시간이 동적분석에 비해 상대적으로 빠르고 분석환경에 대한 민감도가 적은 장점이 있으나 패킹된 악성코드의 경우 언패킹을 하지 않으면 분석이 사실상 불가능하다는 단점이 있다.

동적분석은 악성코드 실행을 통해 악성코드가 실제로 수행하는 다양한 행위를 모니터링하는 악성코드 분석 기법이다. 실제 악성코드의 행위를 자세히 관찰할 수 있는 장점이 있으나 악성코드를 실행하는 분석 환경에 따라 다른 행위를 보이는 문제, 악성코드가 분석환경을 인식 후 악성행위를 하지 않는 문제, 악성코드 실행에 소요되는 시간이 오래 걸리는 문제와 같은 단점이 존재한다. 따라서 정적분석과 동적분석 중 분석 목적에 적절한 방식을 상호보완적으로 사용해야 한다.

이러한 동적분석과 정적분석에서 공통으로 주목하는 정보는 악성코드가 사용하는 API 정보이다. 악성코드도 윈도우 환경에서 실행되는 프로그램이므로 윈도우 API를 호출하여 다양한 행위를 수행한다. 악성코드 동적분석에서는 API가 호출되는 순서와 그 순서의 패턴을 분석하여 악성여부 및 유사도 분석 등을 수행하며, 정적분석에서는 API 함수 간 호출 구조를 분석하는 방법을 사용한다.

본 연구에서는 정적 API 호출구조를 기반으로 악성코드의 기능을 분석하는 방법을 제시한다. API 호출구조를 좀 더 정확히 분석하기 위해, API 리턴값과 매개변수 사이의 데이터의존성이 있는 API 의존 관계 그래프(ADG, API Dependency Graph)를 추출하고 그 정보를 다량 수집하여 인텔리전스를 생성한다. 이후 이를 활용하여 새로운 악성코드의 기능을 분석하거나 악성코드들을 분류하여 신변종 악성코드에 대응하는 기술을 마련한다. 본 논문의 구성은 다음과 같다. 2장에서 관련연구를 간략히 기술하고, 3장에서 API 의존 관계 그래프에 대해 설명한 후 4장에서 이를 기반으로 한 악성코드 인텔리전스 생성과 관련 분석 기법을 제시하고 제안 기법과 기존 기법 간 비교분석을 진행한다. 이후 5장에서 결론을 맺는다.

Ⅱ. 관련 연구

Ⅲ. ADG

ADG는 프로그램의 행위 정보를 반영하기 때문에 행위 그래프라고도 불린다. 프로그램 내 API 호출 순서에 따라 생성되는 API 콜 그래프와는 달리 API 간 데이터 의존 관계가 반영된다.

기존 API 기반의 악성코드 분석기법은 악성코드가 사용하는 API 목록을 기반으로 분석을 진행하나 단순한 API 목록 정보는 악성코드가 수행하는 단위기능 분석에는 부적합하다. 따라서 본 연구에서는 분석 대상 악성코드의 기능을 식별하기 위해 API의 출력 값과 매개변수의 입력 간 의존관계를 분석한 정보를 담은 ADG를 기반으로 기능 분석 및 패밀리 식별을 진행한다. 이를 통해 기존의 분석 기법보다 기능정보 분석에 있어서 더 유용한 정보를 제공할 수 있다.

API 의존 관계 그래프에서의 노드는 API 시스템 콜로 구성되며, API A의 반환 값이 API B의 인자로 사용될 때 노드 A에서 노드 B로 향하는 엣지(Edge)를 연결한다. 즉, 이 때 연결되는 엣지는 API A와 API B 사이의 데이터 의존 관계를 나타낸다.

그림 1은 악성코드의 API 의존 관계 그래프의 한 예를 나타낸다. NtConnectPort() API의 리턴값이 NtRequestWaitReplyPort() API로 입력되며, NtCreateFile() API의 리턴값은 NtWriteFile() API의 매개변수로 입력됨을 나타낸다. 이렇게 API 간 데이터 의존관계를 파악함으로써 악성코드가 주로 사용하는 의미 없는 코드(Meaningless code)를 삽입하거나 의존 관계가 없어서 호출 순서를 바꾸어도 동작하는데 문제가 없는 API의 호출 순서를 바꾸는 행위에 대해 강건하게 대처할 수 있다. API 의존 관계 그래프로 형성된 API들은 호출 순서가 바뀌게 되면 제 기능을 하지 못하게 되므로 난독화를 거쳐도 변종 악성 코드의 API 의존 관계 그래프는 원본 악성 코드의 것과 거의 유사하거나 동일하다.

Fig. 1.

An example of API dependency graph by malicious code

정적 분석을 통한 API 의존 관계 그래프 추출은 데이터 흐름 분석 기법을 활용하여 진행된다. 데이터 흐름 분석이란 컴퓨터 프로그램 내 특정 지점에서 변수들이 가질 수 있는 값들의 집합에 대한 정보를 모으는 분석 기법이다. 이러한 정보를 모으기 위해 프로그램의 CFG(Control Flow Graph)를 활용한다.

데이터 흐름 분석을 위해 CFG를 생성하는 과정은 라이브 변수 분석과 도달 정의 분석이라는 두 가지 기법이 대표적으로 존재하며, 본 연구에서는 그 중 도달 정의 분석 기법을 활용한다. 도달 정의 분석에서는 프로그램의 특정 지점에서 정의된 변수들이 잠재적으로 다른 지점까지 닿을 수 있는 범위의 집합을 계산하여 이를 단위 노드로 묶어낸다.

이렇게 CFG를 API 의존 관계 그래프 추출에 활용하기 위해 우선 프로그램의 의사 코드를 추출한다. 디컴파일러를 이용하여 바이너리 내 어셈블리어를 C 문법의 의사 코드로 변환하며, 본 연구에서는 IDA Pro에 내장되어있는 IDAPython이라는 파이썬 스크립트를 실행할 수 있는 인터프리터를 활용하여 이 작업을 수행하였다.

이후, 파이썬 오픈소스 라이브러리인 Pycparser를 이용하여 AST(Abstract Syntax Tree)를 생성한다. 생성된 AST를 분석하여 if, while, break 구문 등을 분류하여 기준에 맞게 CFG를 생성한다. 그림 2는 일련의 과정을 거쳐 의사 코드로부터 생성한 CFG의 예시이다. 명령어 구문들이 단위 노드로 분리되어 연결되어 있는 것을 확인할 수 있다.

Fig. 2.

An example of control flow graph by malicious code

이렇게 생성한 CFG를 통해 API 의존 관계 그래프를 추출하는 과정은 두 단계로 진행된다. 첫 번째 단계에서는 worklist 기반의 반복문을 수행하는 작업으로 call-assignment 구문을 발견하면 이에 대한 정보를 worklist 큐에 삽입하고 큐에 있는 원소들을 하나씩 꺼내어 데이터 흐름 분석을 진행하며 그래프를 생성한다. 두 번째 단계에서는 첫 번째 단계에서 생성된 그래프 중에서 노드가 API가 아닌 서브루틴(사용자 정의 함수)인 원소들에 대하여 분석을 진행한다.

3.2 서브루틴 처리

Call-assignment 구문 분석에서 생성되는 그래프는 노드가 API뿐만 아니라 바이너리에서 정의된 서브루틴까지 포함되어 있다. 따라서 서브루틴을 분석하여 API로 치환하는 추가 작업이 필요하다. 따라서 1단계에서 생성된 그래프의 원소 (X, Y) 중 X 또는 Y 둘 중 하나 이상이 API가 아닌 서브루틴인 원소들을 모아서 큐를 만든다. 그 후에 큐에 있는 원소들을 하나씩 꺼내어 반복적으로 분석을 진행한다.

Fig. 3.

Call-assignment syntax analysis pseudocode

Fig. 4.

Subroutine handle pseudocode

이 때 엣지가 나가는 X가 서브루틴인 경우와 엣지가 들어오는 Y가 서브루틴인 경우를 나누어서 다르게 분석해주어야 한다. X가 서브루틴인 경우에는 X 내에서 반환하는 값에 대해 역방향으로 분석하여 반환값이 API 호출에 의한 값이면 X를 해당하는 API로 치환하고, Y가 서브루틴인 경우는 Y 내에서 변수 v를 인자로 사용하는 API가 존재하면 Y를 해당 API로 치환한다.

그림 2의 CFG에서는 서브루틴을 발견할 수 없다. 그러나 CloseHandle API가 3번 노드가 아닌 sub_40574E 함수에서 호출되고 3번 노드에서 v1을 인자로 같이 넘겨준다면, 기존에 OpenHandle API에서 sub_40574E 함수로 연결되는 엣지가 OpenHandle API에서 CloseHandle API로 이어지는 엣지로 수정될 것이다.

Ⅳ. ADG 기반 악성코드 인텔리전스 구축

본 절은 악성코드 집합으로부터 ADG를 추출한 후 악성코드 인텔리전스를 구축하는 절차를 기술한다. 각 악성코드로부터 추출된 ADG 집합을 대상으로 유사한 ADG끼리 군집을 형성한 후, 각 ADG 군집을 대표하는 대표 ADG(RADG, Representative ADG)를 추출하고 RADG를 분석가가 분석하여 기능명칭 레이블링을 작성한다. 이후 분석대상 악성코드의 기능을 식별하기 위해 ADG를 추출하고 추출된 ADG와 RADG를 매칭하여 매칭된 RADG의 기능명칭 레이블을 통해 분석대상 악성코드의 기능을 식별할 수 있다.

본 연구에서는 APT, Backdoor, Downloader, Keylogger 등 다양한 유형을 지닌 12,000개의 악성코드에서 추출한 ADG들을 기반으로 악성코드 인텔리전스를 구축하였다.

4.1 ADG 클러스터링

존재할 수 있는 모든 ADG에 대해 의미를 부여하는 것은 현실적으로 불가능하기 때문에 유사한 ADG들을 클러스터링으로 묶어 군집화 과정을 수행한다. 그래프 군집화 모델로는 k-means 알고리즘[10]을 사용하였고, 이 때 필요한 유사도 측정 기법으로는 Jaccard Index를 사용하였다.

클러스터링 진행 과정은 다음과 같다. 우선 k개의 랜덤한 ADG를 선정하여 각 클러스터의 중심값으로 설정한 이후, 남은 ADG를 하나씩 선택하여 Jaccard Index를 통해 계산된 가장 가까운 클러스터에 할당하고 해당 클러스터의 중심값을 갱신하는 행위를 반복한다.

이 때 중심값 갱신에는 그림 5와 같은 빈도수를 고려한 그래프 합집합 모델을 활용한다. 모든 ADG의 간선을 2차원 배열화시켜 합한 후 빈도수에 따라 0 또는 1로 표현해 중심값을 갱신한다.

Fig. 5.

An example of graph union model considered by frequency

이 때 적정한 클러스터 개수 k를 선정해야 하는데, k의 숫자가 작아지면 그래프가 밀집되어 서로 연관성이 없는 API가 하나의 그래프로 묶이거나 중요한 기능적 특징을 가지는 API가 누락되는 현상이 발생할 수 있다. 한편 k의 숫자가 커지면 API가 기능 단위로 하나의 그래프로 뭉쳐지지 않고 파편화되는 현상이 발생할 수 있기 때문에 적정한 k를 찾아내는 것이 매우 중요하다. 그러나 이를 정량적으로 평가하는 것 역시 불가하다. 일반적인 k-means 알고리즘은 inertia 값 등을 활용하여 군집화가 제대로 되었는지를 확인하지만, 여기서는 단순히 정점들이 제대로 뭉쳐있는지가 아닌, 정점들이 뭉친 군집에 기능적 의미가 존재해야하기 때문이다. 따라서 k 값에 다양한 값을 대입하여 군집 시행한 후 우수한 결과를 선택하는 방식을 택해야 한다.

이렇게 ADG들을 k개의 클러스터로 분류하는 과정이 끝나면 하나의 클러스터에 다양한 ADG들이 존재하게 되는데, 해당 ADG들 중 중심값에 가장 가까운 ADG를 대표 ADG(Representative ADG, RADG)로 선정한다. 그리고 RADG가 개별 악성행위의 의미를 지닌 ADG인지, 파편화되거나 별개의 악성행위가 뭉쳐져 있는 ADG는 아닌지 파악해 최적의 결과를 보이는 k를 찾아내야 한다. 이를 통해 k=300을 채택하였다.

이렇게 추출된 RADG들은 악성코드 분석가에 의해 기능명과 그에 대한 설명이 부여되어 누구나 쉽게 그 의미를 파악할 수 있게 되고, 특정 악성코드의 ADG를 추출하였을 때 유사한 RADG에 대응되어 해당 악성코드가 어떤 악성 행위를 수행하는지 분석할 수 있다.

4.2 악성코드 패밀리 분류

분석된 악성코드를 유사한 악성코드끼리 묶어 패밀리를 구성해 놓으면 신변종 악성코드 분석 시 효율성을 높일 수 있다. 여기서 유사성의 기준에 따라 다양한 패밀리가 형성될 수 있으며, 본 논문에서는 악성코드가 수행하는 기능을 기준으로 유사한 기능을 수행하는 악성코드끼리 패밀리를 분류하는 방법을 제시한다.

악성코드가 수행하는 기능을 기반으로 한 패밀리 분류를 위해 악성코드들에서 ADG를 추출한 다음 추출한 ADG와 RADG를 매칭하고, 매칭된 RADG를 인덱스로 하여 벡터화 과정을 수행한다. 이후 k-means, Spectral 군집화, 계층적 군집화의 3가지 클러스터링 알고리즘을 활용하여 어떤 특징을 가지는지, n-gram 기반, AVClass 기반의 군집 모델과 어떤 차이점을 보이는지에 대해 분석하였다.

ADG 클러스터링 때와 마찬가지로 이번에도 클러스터 수가 커지면 유사한 악성코드가 다른 군집으로 분류될 가능성이, 클러스터 수가 작아지면 유사하지 않은 악성코드가 같은 군집으로 분류될 가능성이 커진다. 이 때문에 k에 다양한 값을 대입하여 클러스터 내 악성코드 간 기능적 유사도 식 (1)를 측정했으며, 이 때 기능적 유사도는 Jaccard Index를 활용하였다.

$\[ S{im}_k=\frac{\sum _{i=1}^{k}J\left(F_i\right)}{k} \]$

(1)

그림 6은 클러스터 수 변화에 따른 동일 클러스터 내 악성코드 간 기능적 유사도를 나타낸 그래프이다. k=200까지는 기능적 유사도가 급격하게 증가하지만, 이후로는 증가 폭이 감소함을 볼 수 있다.

Fig. 6.

Functional similarity between malware in same cluster by cluster number change

클러스터 수의 증가에 따라 유사한 악성코드가 다른 군집으로 분류되는 사례가 많아진다는 점을 감안할 때, 수를 200개로 끊어서 활용하는 것이 합리적이라는 결과를 도출할 수 있다.

이후 악성코드의 기능적 유사도면에서 각 군집모델의 성능비교를 수행했다. 표 1은 n-gram, AVClass, ADG 기반의 악성코드 패밀리를 각각 구성했을 때 군집알고리즘 별 동일 패밀리 내 악성코드 간 기능적 유사도를 측정한 결과를 보여준다. 패밀리 분류를 위한 입력데이터로 n-gram를 사용한 경우 계층적 군집알고리즘을 사용했을 때 39%로 가장 높은 기능적 유사도 군집결과를 보였으며, AVClass 사용 시 Spectral 군집알고리즘 적용 시 가장 높은 62.3% 기능적 유사도 군집결과를 보였다. 반면, ADG를 사용한 경우 세 가지 군집 알고리즘에서 70% 이상의 기능적 유사도를 보였다.

Table 1.

Functional similarity of clustering model and algorithm

n-gram 모델은 opcode의 통계적 분포 빈도수를 기반으로 군집화를 수행하기 때문에 API 수준에서의 기능적 유사도가 낮게 나온 것으로 분석된다. AVClass 모델의 경우에는 여러 AV의 진단명을 기준으로 패밀리를 분류하기 때문에 수행 기능이 다른 악성코드라 하더라도 유사한 진단명을 가진 악성코드의 경우 동일 패밀리로 분류되기 때문에 기능적 유사도가 낮은 것으로 분석된다. 반면 ADG를 기반으로 패밀리를 분류하는 경우 사용하는 유사한 ADG를 갖는 악성코드가 동일 패밀리로 구성되므로, ADG를 사용하여 패밀리를 분류할 때 기능적 유사도가 제일 높은 것으로 분석된다.

4.3 사용 예시

그림 7은 임의의 악성코드를 선택하여 ADG를 추출한 결과를 나타내고, 표 2는 추출된 ADG와 RADG를 매칭하여 기능을 식별한 결과를 보여준다.

Fig. 7.

Lists of ADG by particular malware

Table 2.

Matching results by ADG and RADG from Fig. 7

분석 대상 악성코드의 ADG를 분석해 기 식별된 패밀리 중 소속 패밀리를 찾는 과정은 다음과 같다. 분석 대상 악성코드의 ADG와 각 패밀리 구성 시 군집 알고리즘에서 사용한 각 군집의 군집중심값을 비교하여 소속 패밀리를 식별한 후, 패밀리 내에서 가장 유사한 악성코드를 찾아 연결 관계를 구성한다. 이를 모식도로 표현한 것이 그림 8이며 분석 대상은 빨간색으로 강조되어 있다.

Fig. 8.

Analyzed malware’s malware family relationship

Ⅴ. 결론 및 향후 과제

본 논문에서는 정적 분석을 기반으로 API 의존 그래프(ADG)를 추출한 후 이를 기반으로 인텔리전스를 구축하여 악성코드의 기능을 추론하는 방안과 새로운 개념의 악성코드 군집을 제안하였다. 이를 통해 기 분석되지 않은 신변종 악성코드의 기능을 자동으로 식별하고, 군집 모델 식별을 통해 유사한 기능을 가진 기존 악성코드들을 확인함으로써 빠르게 이에 대처할 수 있다.

또한 본 연구에서 제시한 악성코드 군집 모델은 기존의 n-gram 기반이나 AVClass 기반의 악성코드 군집과 큰 차이를 보인다. 분류하는 방법을 감안해보았을 때 타 군집 모델에 비해 좀 더 기능적 응집성을 보일 수 있는 것이 본 모델의 특징이다.

한편 본 제안방법은 RADG에 부여하는 기능레이블과 기능명세의 품질에 따라 기능분석의 결과가 결정된다. 그러나 RADG는 API 함수 간 호출순서를 나타낼 뿐 매개변수의 값(Value)을 확인할 수 없어, 분석가가 RADG만을 보고 기능레이블 및 명세를 작성하기에 충분한 정보가 제공되지 않는다. 또한 유사한 ADG끼리 클러스터를 구성하는 클러스터 알고리즘과 클러스터의 수에 따라 RADG가 결정되므로, 적절한 단위기능으로 나눠질 수 있도록 최적의 RADG 수와 클러스터 모델을 찾는 작업이 이루어져야 한다.

이러한 점을 극복하기 위해 후속 연구에서는 대량의 악성코드로부터 추출된 API 의존 관계 그래프를 군집화하고, 군집을 대표하는 그래프를 생성하여 악성코드의 기능 정보를 나타내는 데이터베이스를 구축하여 모든 ADG에 기능 정보를 대응할 수 있게 발전시키는 것이 필요할 것으로 보인다. 이러한 연구는 악성코드의 기능을 식별하는 관련 연구에도 활용할 수 있을 것으로 기대된다.

References

• K. Rieck, T. Holz, C. Willems, P. Dussel, and P. Laskov, "Learning and Classification of Malware Behavior", Proceedings of the 5^th international conference on Detection of Intrusions and Malware, and Vulnerability Assessment, Paris, France, pp. 108-125, Jul. 2008. [https://doi.org/10.1007/978-3-540-70542-0_6]
• C. Kolbitsch, P. M. Comparetti, C. Kruegel, E. Kirda, X. Zhou, and X. Wang, "Effective and Efficient Malware Detection at the End Host", Proceedings of the 18^th Conference on USENIX Security Symposium, CA United States, pp. 351-366, Aug. 2009.
• K. Kim and B. Moon, "Malware Detection based on Dependency Graph using Hybrid Genetic Algorithm", Proceedings of the 12^th Annual Conference on Genetic and Evolutionary Computation, Portland Oregon, USA, pp. 1211-1218, Jul. 2010. [https://doi.org/10.1145/1830483.1830703]
• J. Lee, K. Jeong, and H. Lee, "Detecting Metamorphic Malwares using Code Graphs", Proceedings of the ACM Symposium on Applied Computing, Sierre Switzerland, pp. 1970-1977, Mar. 2010. [https://doi.org/10.1145/1774088.1774505]
• M.. Zhang, Y. Duan, H. Yin, and Z. Zhao, "Semantics-Aware Android Malware Classification Using Weighted Contextual API Dependency Graphs", Proceedings of the 21^st ACM Conference on Computer and Communications Security(CCS), Scottsdale Arizona USA, pp. 1105-1116, Nov. 2014. [https://doi.org/10.1145/2660267.2660359]
• X. Hu, S. Bhatkar, K. Griffin, and K. Shin, "MutantX-S: Scalable Malware Clustering based on Static Features", Proceedings of USENIX Annual Technical Conference, CA, United States, pp. 187-198, Jun. 2013.
• E. Raff, R. Zak, R. Cox, J. Sylvester, P. Yacci, R. Ward, A. Tracy, M. McLean, and C. Nicholas, "An Investigation of Byte N-gram Features for Malware Classification", Journal of Computer Virology and Hacking Techniques, Vol. 14, No. 1, pp. 1-20, Feb. 2018. [https://doi.org/10.1007/s11416-016-0283-1]
• R. Zak, E. Raff, and C. Nicholas, "What can N-grams Learn for Malware Detection?", Proceedings of the 12th International Conference on Malicious and Unwanted Software, Fajardo PR USA, pp. 109-118, Oct. 2017. [https://doi.org/10.1109/MALWARE.2017.8323963]
• M. Sebastian, R. Rivera, P. Kotzias, and J. Caballero, "AVCLASS: A Tool for Massive Malware Labeling", Proceedings of the 19^th International Symposium on Research in Attacks, Intrusions, and Defenses, Paris France, pp. 230-253, Sep. 2016. [https://doi.org/10.1007/978-3-319-45719-2_11]
• J. MacQueen, "Some Methods for Classification and Analysis of Multivariate Observations", Proceedings of the 5^th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley California USA, pp. 281-296, Jan. 1967.