Current Issue

본 논문에서 제안하는 입력된 오디오 파일에 대하여 스마트폰 녹음 여부 검출 포렌식 알고리즘의 대략적 구조를 그림 1에 도시하였고 학습(Training) 과정과 평가(Testing) 과정으로 구성이 되어 있다.

Fig. 1. 
Smartphone recording detection forensic algorithm

학습 과정에서는 입력되는 오디오 데이터의 길이가 다양하므로, 먼저 입력 오디오를 10초 단위의 세그먼트로 분할하고 각 세그먼트에 Mel-Spectrogram을 추출하여 CNN 모델을 학습하였다.

평가 과정으로는 먼저 입력되는 전체 오디오를 10초 단위의 세그먼트로 분할하고, 학습 과정과 동일하게 각 세그먼트에 대하여 데이터 전처리를 통하여 Mel-Spectrogram을 추출한다. CNN 모델을 이용하여 세그먼트 단위로 스마트폰 녹음(SR) 또는 기타기기 녹음(OR)으로 분류한다. 전체 오디오에 대하여 각 세그먼트 단위로 분류를 수행한 후에 빈도수를 기반으로 최종적으로 해당 오디오의 스마트폰 녹음 여부를 검출한다.

2차원 데이터인 이미지에 적합한 CNN 모델을 오디오에 적용하기 위해서는 1차원 데이터인 오디오를 CNN 모델에 적합한 입력으로 만드는 전처리가 필요하다. 데이터 전처리에서는 1차원 시간 도메인 데이터를 주로 심리 음향에 기반을 둔 주파수 도메인의 오디오 특징 데이터를 추출한다. 특히, 시간 도메인에 대하여 중첩하여 특징 데이터를 추출하여 2차원 데이터로 변환한 후 이를 이미지로 간주하고 CNN 모델을 학습하는데, 이러한 방식이 효과적으로 오디오에 적용될 수 있는 것이 여러 연구를 통해 알려져 있다[4].

입력한 오디오 데이터를 16,000 Sampling rate로 변환하고, 10초 단위 세그먼트로 분할하였다. 특징 추출을 통해 오디오를 이미지로 변환한 309×128 크기의 패치 데이터가 CNN 모델의 학습과 평가를 위해 사용된다. 오디오 데이터의 전처리를 위해서는 Spectrogram에 인간 청각 특징을 활용하는 멜 필터(Mel-filter)를 적용해서 얻어진 Mel-Spectrogram을 사용하였다. 이는 Spectrogram보다 크기가 작아서 학습 속도에 유리하며, 주파수끼리 상관하기 때문에 도메인이 한정적인 문제에서 좋은 성능을 보인다.

이와 같은 데이터 전처리를 통한 Mel-Spectrogram 추출 과정으로 오디오 세그먼트는 309×128×1 크기의 모델의 입력 데이터가 되고, 학습, 검증, 평가 데이터 세트 모두에 적용하였다.

각 세그먼트 단위로 스마트폰 녹음 여부를 판별하기 위한 CNN 모델의 내부적인 구조를 그림 2에 도시하였다.

Fig. 2. 
Architecture of smartphone recording detection CNN model

컨볼루션 계층은 5계층(Conv1~Conv5)으로 구성되며, 3x3 크기 커널로 컨볼루션을 수행한다. 각 컨볼루션 수행 후에는 Max pooling을 통해 특징을 1/2로 줄인다. 그 후에 과적합 문제를 해소하기 위해 배치 정규화(Batch nomalization)과 드롭아웃(Drop-out) 처리를 수행하며 비율은 0.2를 사용하였다.

컨볼루션 계층에서의 처리 결과는 전연결 계층(Dense1~Dense3)에 입력된다. 전연결 계층의 결과는 스마트폰 녹음과 기타기기 녹음에 대한 확률로서 큰 값을 갖는 것을 판별 결과로 사용하였다.

제안한 알고리즘의 실험을 위해서 오디오 데이터셋을 YouTube 영상과 스마트폰 등으로 자체적으로 수집하여 구축하였다. 온라인 등에 공개된 오디오 데이터셋의 경우에는 해당 오디오 데이터셋을 어떤 장치를 사용하여 수집하였는지 명확하지 않아 사용하지 않았다.

구축한 데이터셋을 스마트폰 녹음(SR)과 기타기기 녹음(OR)의 두 클래스로 구분하여 사용하였다. SR 및 OR 데이터는 회의, 일상 대화, 전화 녹음, 노래, 영화 등 음성 데이터와 동물 소리, 자연 소리, 악기 소리 등 비음성 데이터를 포함하여 딥러닝 모델이 콘텐츠에 대한 의존성을 갖지 않도록 데이터를 다양하게 구성하였다. 특히, SR 데이터의 경우 OR 데이터에 해당하는 Youtube 영상을 재생한 후 스마트폰으로 녹음하여 구축함으로써 SR과 OR 데이터가 유사한 오디오 콘텐츠를 포함하도록 함으로써 콘텐츠 특성에 따라 구분되지 않도록 하였다.

표 1에 나타낸 것과 같이 실험을 위해서 SR과 OR 클래스에 대하여 각각 16,499장 및 9,602장의 오디오 데이터를 사용하였으며, 학습 데이터와 검증 데이터의 비율은 0.9:0.1로 설정하였다.

전체 오디오 데이터 26,051개 중 23,441개의 데이터를 학습에 사용하였고 2,605개의 데이터를 모델 학습 추세 및 과적합을 분석하는데 사용하였다.

표 2에 SR 클래스 수집을 위한 장치들과 기종별 학습 데이터를 나타내었다. 스마트폰으로 LG, Samsung, Apple 제품을 사용하였으며, 각 브랜드 별로 1개, 4개, 3개 모델을 활용하였고, 총 2,247개, 6,595개, 7,607개의 학습 데이터를 수집하였다.

제안하는 모델은 Tensorflow와 관련 API를 이용해 구현하였고, 학습 과정에서 지연 로딩 방식을 사용해 학습에 필요한 데이터만 GPU 메모리에 로딩해 메모리 공간 여유를 확보하도록 하였다.

모델 학습 파라미터로 학습률은 1^-3, 가중치 감쇠는 1^-1로 설정하였다. 손실 함수는 이진 크로스 엔트로피를 사용하고, 최적화 함수는 Adam optimizer를 사용하였다. 학습은 64 배치 사이즈에 최대 100 Epoch로 진행하였고, 10 epoch 동안 검증 데이터의 손실값에 변화가 없을 때 조기 종료하도록 하였다.

그림 3에는 학습 및 검증 데이터를 사용해 제안하는 모델에 대하여 총 5번의 학습을 진행하여 나온 학습 정확도 추세를 5 Epoch 단위의 그래프로 도시하였다.

Fig. 3. 
Accuracy trend of 5 learned models

표 3에는 5개의 모델 중 정확도의 평균값이 가장 높은 모델인 model 1의 각 Epoch에 따른 학습과 검증 정확도와 손실률의 추세를 나타내었다. 14 Epoch에서 손실률이 0.014로 가장 작았고, 최대 99.57%의 정확도를 달성하였다.

세그먼트 단위에 대해 CNN 모델을 이용한 2종 분류로 스마트폰 녹음(SR)과 기타기기 녹음(OR) 클래스의 확률값을 계산하고 최대 확률값을 갖는 클래스를 기준으로 분류하는 성능을 분석하였다.

학습된 모델의 세그먼트 단위 성능 분석에 사용된 평가 데이터를 표 4에 나타내었다. 이 데이터는 학습과 검증에 사용되지 않은 독립적인 데이터이다.

제안한 모델로 세그먼트 단위에 대해 평가 데이터에 대하여 정확도 분석한 결과를 표 5에 정리하였고 평균적으로 94.975% 정확도를 달성하였다. OR 클래스는 높은 정확도를 보이나, SR 클래스의 경우는 상대적으로 낮은 정확도를 보였다.

제안하는 스마트폰 녹음 여부 검출을 위한 알고리즘에 대하여 실제 오디오 파일에 대한 성능 분석을 위해 약 3~5분 길이의 스마트폰 녹음 오디오와 기타기기 녹음 오디오 파일인 2가지 분류로 SR 클래스는 130개와 OR 클래스는 132개씩 사용하였다.

표 6에 SR 클래스의 브랜드 학습 데이터를 나타내었다. LG, Samsung, Apple의 각 브랜드별로 1개, 3개, 4개 장치를 사용하였고 총 20개, 40개, 70개의 평가 데이터를 수집하였다. 특히, 같은 모델에 대해서도 여러 개의 제품을 사용하였고, 모델명 옆에 사용한 제품 수도 괄호로 표시하였다.

특히, 학습에 사용하지 않은 Galaxy A32, Galaxy A90, iPhone SE2, iPhone 12 Mini, iPhone 13 Pro와 같은 스마트폰 모델을 포함함으로써 모델에 의존적인 특성을 갖지 않고 있는 것도 분석하였다.

입력 오디오에 대해 3.1절에서 설명한 것과 같이 빈도수를 계산해 각 세그먼트에 대해 클래스 분류를 수행하고 실제 클래스와 예측 클래스의 일치 여부로 성능 분석을 진행하였다.

표 7에는 그림 3에서 설명한 5개 모델에 대하여 전체 오디오 파일 분류 실험의 평균 정확도를 나타내었다. Model 1의 평균 정확도가 95.4%로 가장 높게 나타났다.