Home

LSTM은 상당히 긴 입력 시퀀스를 효과적으로 학습하기 위해 제안되었으며, 내부적으로 셀(Cell)이라는 메모리 유닛을 통해 비교적 긴 시간 동안의 정보를 효과적으로 학습시킨다[13].

그림 1에 보이는 바와 같이, LSTM은 한 개의 셀 상태를 업데이트하기 위해 4개의 인접 계층과 상호 작용한다. 또한, 각 계층은 3개의 입력, 즉 입력값 x_t, 출력값 h_t-1, 이전 사이클에서의 셀 상태 c_t-1를 받는다.

Fig. 1. 
Basic connection structure of LSTM

LSTM의 첫 단계는 이전 사이클의 정보 중 얼마를 셀에 저장할 것인지 결정하는 것이다. 이것은 fortet gate (f_t)라는 시그모이드 함수(σ)에 의해 결정되는데, [0, 1] 사이의 값을 출력하는 시그모이드 함수값과 c_t-1의 곱으로 다음과 같이 계산된다.

다음 단계는 어떤 새로운 정보를 셀에 저장할지를 결정하기 위해, 먼저 input gate (i_t)를 사용하여 어떤 값을 업데이트할지를 결정하고, 그 후 tanh 계층에서 해당 셀에 전달될 후보값(Ct~)들의 벡터를 다음과 같이 생성한다.

그리고 이전 상태 c_t-1는 forget gate f_t와 곱해진 후, 그 결과는 다시 i * Ct~에 더해져 셀에 저장될 새 후보값을 얻게 된다.

마지막으로, 그림 2에 보이는 것처럼 현재 사이클의 출력값 h_t가 결정되는데, 이 값은 2단계를 거쳐 필터링된다.

Fig. 2. 
Output layer computation flow of LSTM

먼저 시그모이드 함수를 사용하여 그 셀 상태의 어떤 부분을 출력할지를 결정하고, 이 값을 tanh 함수를 통과한 셀 상태값과 곱하는데, 이 과정을 통해 앞서 결정된 일부분만을 출력하도록 할 수 있다. 이와 같은 네트워크 특성은, 언어 모델 또는 일련의 순차 데이터에서 선행 정보가 주어졌을 때, 그 뒤따라 나타날 정보들의 종류나 형태를 효과적으로 예측하게 한다. 결과적으로, LSTM의 내부 셀은 입력 데이터의 장기간 정보를 저장하는 기능을 지원하고, 이와 함께 입력 데이터의 관찰 구간을 계속 조절함으로써 입력 시퀀스의 히스토리를 유지하게 한다.

악성 코드 탐지의 경우, 어떤 프로세스에서 특정 시스템 콜이나 API가 발생하는 빈도 뿐만아니라, 이들이 나타나는 패턴이나 행태(경향)가 더 의미있다. 따라서, 이와 같은 함수 호출 패턴이 정상적인 범주의 어플리케이션에 해당되는지 확인하기 위해서 비교적 장기적인 함수 호출(또는 파일 접근) 패턴을 관찰해야 하는데, LSTM 네트워크는 이 목적에 적합하다.

악성 코드의 정적 분석과 달리, 동적 분석은 실제 악성 코드가 실행될 때 나타나는 파일, 메모리, 네트워크, I/O 장치 등에 대한 접근 행태를 관찰하는 것이다. 따라서, 별도의 차단된 실행 환경이 확보되어야 한다. 기존에는 샌드박스(Sandbox)를 이용한 동적 분석이 있었지만, 최근의 악성 코드들이 샌드박스 등의 존재나 실행 환경을 알아채고 이를 회피하는 기능을 갖추고 있어, 본 연구에서는 가상 머신을 활용하였다. 생성된 가상 머신에는 리눅스 운영체제와 FUSE 파일 시스템을 설치하여 악성 코드 실행 환경을 구축하였다. 악성 코드가 FUSE를 통해 특정 파일 시스템(또는 디렉토리, 파일 등)에 접근하는 모든 접근 행태를 관찰하고 이를 기록할 수 있으며, 특히 동적 분석은 악성 코드 자체가 변형을 일으켜 정적 분석이 어려운 경우에도 이를 탐지할 수 있는 장점이 있다.

악성 코드의 동적 분석 및 탐지를 위해 통계적 모델링에 기반한 전통적인 기계 학습 기법이 많이 활용되었다. 이벤트 패턴 데이터의 순차적 발생과 상태 간 전이확률을 학습시킨 은닉 마코프 모델(Hidden Markov model)은 악성 코드의 주요 패턴에 대한 탐지율은 높으나, 학습에 필요한 데이터의 양이 매우 많아야 하고, 악성코드의 패턴 교란에는 대처하기 어렵다[14]. 또한, 커널 상에서 악성 코드의 자원 사용 통계량과 특징 정보를 분석하여, 각 클래스를 분류하는 최적화된 초평면(Hyperplane)을 찾아내는 SVM을 활용한 연구도 있지만, 학습에 필요한 특징 정보에 종류에 따라 학습 효과와 탐지 능력이 큰 편차를 보이는 문제를 안고 있다[15]. 이와 같은 행태 분석과는 달리, 통계적 모델에 정적 코드 분석 데이터를 통계적 모델에 사용하기도 하였다[16]. 그러나 이와 같은 연구들의 문제는 기계 학습 기법의 특성 상, 매우 제한적인 조건들을 전제한다는 것이다. 예를 들어, 은닉 마코프 모델의 경우에는 memoryless 성질을 가정하거나, 특정 커널 내에서 프로세스(또는 코드) 간에 유사도를 결정하는 척도를 미리 정의함으로 변형된 악성 코드에 대한 대응이 어렵다는 문제를 갖는다.

FUSE는 일반 사용자들이 커널 수정없이 특정 목적을 위한 파일 시스템을 구현할 수 있도록 지원하는 사용자 수준의 파일 시스템 프레임워크이다[17]. 원래 Unix 계열에서만 지원되었지만, 현재는 MS Windows를 포함하는 대부분의 운영체제에서 사용 가능하다.

새로운 파일시스템을 구현하기 위해, 사용자는 libfuse 라이브러리에 링크될 핸들러 프로그램을 작성해야 한다. 이 프로그램은 운영체제 커널 파일시스템(리눅스의 경우 VFS)으로 요청된 파일 시스템 콜(open/read/write/close/stat/lseek 등)을 FUSE를 통해 전달받아 이를 대신 처리하고 응답하도록 설계되어 있다.

그림 3의 예를 들어 설명하면, 사용자가 ls -l/tmp/fuse 명령을 통해 커널에 파일 /tmp/fuse에 대한 접근 요청을 하면, VFS는 FUSE의 libfuse에 등록된 사용자 핸들러(여기서는 ./hello)를 동작시킨다. 이 때, 이 핸들러에게 VFS에 요청된 파일명(즉, /tmp/fuse)이 전달되고, 핸들러는 이를 처리한 결과를 다시 FUSE를 통해 커널에 전달하는 과정을 거쳐 사용자 파일 시스템의 특수 기능을 수행하도록 한다. 따라서 사용자 어플리케이션이 FUSE 파일 시스템에 접근하며 호출하는 모든 시스템 콜은 이미 등록된 핸들러에 의해 캡춰되고, 핸들러는 이 프로세스와 관련된 모든 로그를 저장할 수 있다.

Fig. 3. 
File system call operation between Kernel and FUSE

중요 파일 데이터의 보호를 위해 파일 접근 과정을 효과적으로 관찰해야 하는데, 파일 시스템의 모든 파일에 대해 파일 접근을 모니터링하는 것은 파일 시스템의 성능을 전체적으로 저하시키는 문제가 있다.

따라서 본 연구에서는 중요 파일에 대한 악성 코드의 접근을 탐지하기 위해, FUSE를 사용하여 해당 파일 시스템을 분리 구현하고, 여기에 파일 시스템 콜 행태의 관찰 기능과 악성 코드 판단 기능을 부가하였다. 또한, 앞서 말한대로, FUSE는 사용자 수준의 파일 시스템이므로 본 연구의 결과물을 다양한 컴퓨터시스템에 쉽게 이식할 수 있다는 장점을 갖는다.

본 연구에서는 VMWare Workstation Player 가상 머신 위에 Ubuntu 18.04 리눅스를 설치하고, FUSE 파일 시스템을 구성하였다. FUSE 파일 시스템에서 제공되는 핸들러는 리눅스 VFS에서 처리하는 대부분의 파일 시스템 콜을 관찰하도록 작성되었다. 일반 파일, 디렉토리, 심볼릭 링크를 다루는 54개의 함수를 지원하며 전체 리스트는 표 1과 같다.

가상 머신 내에서 악성 코드가 실행되면, 모든 파일 접근 시스템 콜이 FUSE에 의해 수집되고, FUSE는 해당 프로세스 이름, PID, 파일 접근 시각, 파일 경로명, 시스템 콜, 전달 인자 등의 로그를 저장한다. 각 어플리케이션 실행 중에 각 5분 단위로 이벤트 시퀀스를 추출하였으며, 본 연구에서 사용된 데이터 셋은 Maltrieve[18], Virus Share[19]에서 제공되는 악성 코드 샘플 중 5종을 사용하였고, 양성(Benign) 코드로는 주로 파일 접근을 활발히 하는 오픈오피스, 크롬 웹라우저, VLC 미디어 플레이어를 사용하였다.

양성 또는 악성코드를 각각을 30분간 수행시켜 수집된 파일 접근 로그에 나타나는 각 시스템 콜들에 대해, 그림 4에 보이는 바와 같이 데이터 전처리 과정을 거쳐 대응된 콜 번호(정수)로 인코딩하고, 이들을 각 50개의 길이로 분할하여 입력 벡터를 구성한다. 각 입력 벡터에는 또한 양성 또는 악성의 레이블을 붙이고, 이와 같이 구성된 입력 데이터의 일부는 학습용으로, 나머지는 테스트용으로 사용한다. 현재 LSTM 입력 계층의 벡터 크기는 50개로 제한했지만, 더 긴 패턴의 연결 관계를 파악해야 하는 경우, RNN의 특성 상 이를 쉽게 확장할 수 있다.

Fig. 4. 
Data processing flow for LSTM network

본 연구에서는 TensorFlow를 사용하여 50개의 LSTM 셀을 가진 3계층 LSTM 네트워크를 기본 네트워크로 구성하였고, 악성 및 양성의 이진 분류 문제이므로 시그모이드 활성 함수와 Adam optimizer를 사용하였다. 3계층은 입력, 학습, 출력 계층의 기본 구조이며, 50개의 LSTM 셀은 시스템 콜의 순차성을 학습시키는 기본 윈도우 크기로 설정하였다. 이 값은 어플리케이션의 실행 지역성과 관련이 있으며, 예비 실험에서 이 값이 충분히 큰 것으로 확인하였다.

실험에 사용된 입력 데이터는 악성 패턴 3,500개, 양성 패턴 1,000개로 구성되었으며, 각각의 2/3는 학습용, 나머지는 테스트(검증)용으로 사용되었다.

또한, 학습 시 미니 배치의 크기는 64였고, 500 epoch를 반복하였다. 실험에 사용된 연산 장치는 32GB 메모리를 장착한 NVidia Quadro P5000이었으며, 학습 시간은 6시간이 소요되었다.

성능 척도는 다음과 같이 accuracy(ACC), precision(PR), recall(RC)를 측정하였다.

TP, TN, FP, FN은 다음과 같이 정의된다.

- TP(true positive): 악성 코드를 악성 코드라고 판정
- FP(false positive): 양성 코드를 악성 코드라고 판정
- TN(true negative): 양성 코드를 양성 코드라고 판정
- FN(false negative): 악성 코드를 양성 코드라고 판정

본 논문에서 제안하는 LSTM 네트워크와 선행 연구에서 사용한 은닉 마코프 모델(HMM), Support Vector Machine(SVM) 등 2개의 기계 학습 모델과 성능을 비교하였다. HMM은 53개의 입력 심볼과 50개의 관찰 상태를 지원하고 Baum-Welch 알고리즘을 사용하여 확률을 갱신하고, SVM은 50개의 시스템 콜 이벤트를 입력 값(벡터)으로 받으며 양성/악성 입력에 대해 지도 학습(supervised learning)을 수행한다.

표 2에 보이는 바와 같이, LSTM이 기존 두 기계 학습모델에 비해 우수한 결과를 보였다. 특히, accuracy는 HMM에 비해서는 44.7%, SVM에 비해서는 3.8%의 성능 향상을 보였다. 이 결과에서, LSTM은 그 특성 상, 악성코드가 일으키는 상당히 긴 시스템 콜 패턴을 학습하는 능력이 우수함을 확인할 수 있었다. 이에 비해 HMM은 관찰 패턴의 길이가 길어질수록 시스템 콜(이벤트) 간의 연결성에 관한 탐지력이 낮아져, 본 연구에서와 같은 동적 실행 패턴 기반의 학습에 매우 취약함을 확인할 수 있었다. 한편, SVM은 순차성을 갖는 이벤트 패턴 데이터의 학습에 상당히 효과적임을 보였지만, 관찰 패턴의 길이가 길어지면서 LSTM 네트워크보다 성능이 떨어지는 결과를 보였다.

다음은 LSTM 네트워크를 구성은 계층의 수가 성능에 미치는 영향을 살펴보기 위해, 표 3에 보이는 바와 같이 3개의 계층을 갖는 기본 네트워크(3L-LSTM)에 1개씩의 계층을 각각 추가한 4L-LSTM과 5L-LSTM을 구성하여 실험하였다. 4L-LSTM의 경우, 기본 네트워크보다 더 우수한 결과를 보였지만, 5L-LSTM에서는 오히려 성능이 저하되었는데, 이것은 계층의 증가가 오히려 overfitting으로 인한 오분류가 나타난 결과로 분석된다. 따라서 시스템 콜 패턴과 같이 비교적 표현이 단순한 구조에서는 네트워크 계층을 적정하게 유지하는 것이 바람직한 것으로 판단된다.