딥 러닝을 이용한 비디오 카메라 모델 판별 시스템

2.1 카메라 장치 판별 연구

카메라 장치 판별에 관한 연구는 범행을 입증하기 위한 포렌식의 관점에서 매우 중요하기에 많은 연구가 국내외에서 진행되고 있다.

Lukas et. al은 카메라에서 영상을 획득할 때 사용하게 되는 광학 센서의 필연적인 비균일성에 의해 생기는 노이즈 성분인 PRNU(Photo Response Non Uniformity)를 추출하여 이를 이용, 통계학적인 유사도를 이용하여 카메라 장치를 판별하였다[1]. Choi et. al은 카메라 렌즈의 수차에 의한 왜곡을 이용하여 카메라를 판별하는 연구를 수행하였다[2]. Bayram et. al은 CFA 보간을 이용하여 카메라 장치를 판별하였다[3]. 또한, Lee는 다양한 SPN(Sensor Pattern Noise)를 이용하여 카메라 장치 판별 연구를 수행했다[4]. Lee et. al은 모폴로지 필터링 기반의 SPN을 통한 동영상 획득 장치 판별 연구를 수행하였다[5].

2.2 딥 러닝 기술

딥 러닝은 현재 가장 주목받고 있는 기술로 다양한 연구를 통해 빠르게 발전하고 있으며, 광범위한 분야에 활용되고 있다. 딥 러닝은 인공신경망을 기반으로 하여 발전된 기술이다. 기존에 연구되었던 인공신경망이 충분히 많은 계층을 가진다면 단순한 문제뿐 아니라 복잡한 문제도 해결할 수 있음이 밝혀짐으로써 다양한 분야와의 접목을 위한 연구가 진행되고 있다. 또한, 단순히 쌓은 형태가 아니라 이용하는 데이터와 목적에 따라 다양하게 변형된 구조들이 존재한다. 단순하게 완전 연결 계층들을 깊게 쌓은 DNN(Fully Connected Deep Neural Network), 영상과 음성 등에 높은 성능을 보이는 컨볼루션을 이용한 CNN(Convolution Neural Network), 순차적인 시계열 데이터에 적합한 것으로 알려진 RNN(Recurrent Neural Network) 뿐만 아니라 LSTM, RBM, DBN, GAN, ResNet, DenseNet 등 이 존재한다[6]-[9].

본 논문에서는 영상 데이터에 대해 높은 성능을 보이는 것으로 검증된 CNN을 활용하여 동영상 카메라 장치 판별에 이용하였다. CNN은 컨볼루션 연산을 초기 계층에 추가한 인공 신경망 모델로 입력 계층, 컨볼루션 계층, 완전 연결 계층, 출력 계층 등으로 이루어졌다.

2.3 딥 러닝을 이용한 카메라 장치 판별 연구

현재 많은 연구팀은 딥 러닝 기술을 이용하여 이를 다양하게 변형하고 적용하여 카메라 모델 판별에 이용 중이다. Tuama et. al은 기존의 PRNU를 이용하는 방법과 딥 러닝을 이용한 방법을 비교하였다. CNN을 이용하였고, High-Pass 필터와 Wiener 필터를 이용하여 둘을 비교하였다. 다양한 카메라모델과 장치를 이용해 피사체를 촬영한 Dresden Image Database와 개인용 카메라들로 찍은 영상들을 이용하여 성능을 평가하고 비교하였다[10]. Wang et. al은 LBP(Local Binary Pattern)라는 밝기변화에 무관한 특징을 이용하여 카메라 장치 판별 연구를 수행하였다[11]. 또한, Kamal et. al은 State-of-the-art에 해당하는 딥 러닝 모델인 DenseNet을 이용하여 연구를 수행하고 있다[12].

3.1 비디오 카메라 모델 판별 알고리즘

본 절에서는 제안하는 비디오 카메라 모델 판별 알고리즘에 대해 설명한다. 그림 1은 제안하는 비디오 카메라 모델 판별 알고리즘을 나타낸 것으로 크게 학습 과정과 판별 과정으로 나누어 처리된다.

Fig. 1.

Video camera model identification system

두 과정 모두 동영상에서 프레임을 추출하고 이를 실제 딥 러닝 모델에 입력으로 활용하게 된다. 본 모델에서는 프레임을 추출한 후 P 프레임만을 선택하여 학습과 판별에 이용한다. 판별 과정에서는 추가로 각각의 동영상에서 얻은 프레임들의 결과를 모두 합산하여, 가장 높은 빈도로 추측된 클래스로 판별한다. 상기의 과정에서 비디오 카메라 판별을 위한 딥 러닝 모델은 3.2절에서 설명하며, I 프레임을 사용하지 않고 P 프레임만 사용하여 설계한 이유는 3.3절에서 기술한다.

3.2 비디오 카메라 판별을 위한 딥 러닝 모델

동영상은 GoP(Group of Pictures)라 부르는 프레임들의 집합으로 구성되어 있다. 이들 프레임은 종류에 따라 크게 I(Intra), P(Predicted), B(Bidirectional predicted) 프레임으로 나눌 수 있다. 무손실 압축된 영상은 다양한 코덱을 통해 프레임들로 인코딩되고 실제 재생 시에 각각의 프레임은 디코딩 과정을 거쳐 영상으로 복원된다. 따라서 동영상을 구성하는 프레임은 디코딩 과정을 거쳐 영상으로 변환할 수 있으므로 각각의 프레임을 영상으로 보아 기존의 카메라 모델 판별 기술을 이용할 수 있다. 그림 2는 기존 카메라 장치 판별 연구에서 우수한 성능을 나타낸 CNN 모델의 계층 구성을 나타낸다.

Fig. 2.

CNN layers structure

먼저 입력된 영상을 HPF(High-Pass-Filter)를 통과시킨 후에 컨볼루션 계층에 입력한다. 3개의 컨볼루션 계층을 거친 후에는 Max-Pooling을 이용하여 Feature Map의 크기를 줄인다. 이후 0.5의 드랍아웃을 가진 단순 완전 연결 계층 2개에서 산출된 값을 soft-max 계층에 입력하였고 출력 값을 통해서 판별하였다. 모두 ReLU 활성화 함수를 이용하였다.

표 1은 영상에 대한 카메라 판별 연구에 사용된 장치의 모델 이름과 해상도, 사진의 수를 나타낸다.

Table 1.

List of camera device

그림 2의 모델을 이용하여 영상을 이용한 카메라 모델 판별 실험을 수행하였다. 실험 영상은 원본 영상을 256×256 크기 패치로 잘라서 이용하였다. 기존 PRNU를 이용한 방법은 균일한 영상에서 센서 패턴 노이즈의 통계학적 계수를 구했으나, 딥 러닝의 다양한 데이터에 대한 학습의 특성을 생각하여 균일한 영상과 비균일한 영상을 섞어 사용하였다. 이 중 학습에 80%, 테스트에 20%로 나누어 사용하였으며, 실험 결과로 92.5%의 성능을 확인하였다.

다음으로 영상에 대하여 학습된 카메라 모델 판별 딥 러닝 모델을 동영상의 각 프레임에 적용하는 실험을 수행하였다. 표 1에서 사용된 모델과 동일한 카메라 장치로 촬영한 동영상을 이용하였으며 I 프레임과 P 프레임으로 분리하여 입력에 사용하여 실험을 수행하였다. 프레임에 따른 판별 결과는 표 2와 같이 예상과는 다르게 낮은 결과로 나타났다.

Table 2.

Video frame identification accuracy

기존의 영상 판별 결과에 반해 현저히 낮은 결과로 보아 기존의 영상을 이용한 카메라 모델 판별이 동영상에 적용할 수 없음을 확인할 수 있었다.

이러한 결과가 나타나는 이유는 영상과 동영상이 저장될 때 사용되는 압축방법의 차이에 따른 결과로 보인다. 실험에서 사용된 영상 데이터는 압축되지 않은 원본 영상이거나 JPEG 압축을 이용하여 압축된 영상이고, 동영상 데이터는 AVC(Advanced Video Coding)을 이용하여 압축된 영상이다. 또한, 동영상은 일반적으로 영상에 비해 높은 압축률이 요구되고 그에 따라 더 많은 정보가 수정, 삭제되므로 영상과는 차이가 있는 것으로 분석된다. 또한, 영상의 해상도가 동영상의 해상도보다 일반적으로 크기 때문에 영상과 동영상 간의 센서 노이즈의 크기와 위치가 다르다. 그 때문에 위치 동기화가 깨지게 되어 좋은 결과가 나오지 않은 것으로 분석된다.

위에서 언급한 바와 같이 동영상은 기존의 학습 모델을 이용할 경우 전혀 판별할 수 없는 정확도가 나오는 것으로 보아 기존의 학습 모델을 바로 이용할 수 없을 것으로 보인다.

3.3 동영상 프레임 특성에 따른 성능 분석

본 논문에서는 위에서 제시한 영상 기반 카메라 판별 기술의 딥 러닝 구조와 하이퍼 파라미터 등을 유지하고 학습 데이터로 영상이 아닌 동영상의 프레임을 사용하여 문제를 해결하였다. 특히, 본 연구에서는 I 프레임, P 프레임과 I와 P 프레임을 함께 사용한 데이터 등을 이용하여 서로 교차로 학습 및 테스트를 수행하여 데이터 간의 관계를 분석하였다.

실험 결과에 제시한 것과 같이 다양한 프레임별 분류를 통하여 실험을 수행하였다. 평균적으로 P 프레임으로 학습과 판별을 하는 것이 가장 높은 성능을 보였고 모델에 따른 판별률의 차이 또한 적은 것을 확인할 수 있었다. 반면에 I 프레임은 카메라 판별에 있어서 P 프레임보다 상대적으로 중요도가 낮은 것으로 확인하였다. 영상에서 일반적으로 I 프레임의 수보다 P 프레임의 수가 월등히 많다. 이는 많은 데이터에 의존하는 딥 러닝 프로세스에서 불리하게 작용 되기 때문에 I 프레임 사용에 대한 이점이 존재하지 않고 오히려 악영향을 끼치는 것을 확인할 수 있었다.

따라서 P 프레임만을 활용하는 것이 최적의 성능을 나타내는 것으로 분석되어 그림 2에서 제시한 것과 같이 P 프레임을 활용한 비디오 카메라 모델 판별 알고리즘을 설계하였다.

4.1 실험 환경 및 데이터

비디오 카메라 모델 판별을 위한 딥 러닝 학습 환경은 다음과 같다. CPU는 Intel i7-7700을 사용하였고, 실제적인 딥 러닝 학습을 담당하는 그래픽카드는 Nvidia Titan XP(VRAM 12GB)를 사용하였다. 메모리는 16GB로 구성하였으며, 윈도우 10 환경에서 가장 범용적이고 빠른 구현이 가능한 딥 러닝 프레임워크인 Tensorflow-GPU(1.10.0)을 사용하였다.

본 논문에서는 표 1의 기존의 카메라 장치에서 사용하였던 모델과 같은 장비에서 동영상을 획득하였다. 각각의 동영상들은 평균적으로 20초 전후의 길이를 가진 동영상이며, 표 3은 각각 장비에서 획득한 동영상의 해상도와 각각의 프레임의 수를 보여 준다.

Table 3.

Video frame identification accuracy

그림 3은 표 3의 각각의 프레임의 영상 일부를 보여 준다. 각각의 프레임들은 크기가 매우 크고, 딥러닝 환경에 적합하지 않아서 학습과 테스트 시에 프레임을 256×256의 크기의 패치로 나누어 사용한다. 또한, 마지막으로 비디오 카메라 모델 판별 알고리즘 실험을 위해서 총 103개의 동영상 영상의 P 프레임만을 이용하여 데이터셋을 구축하였다.

Fig. 3.

Video frame examples

4.2 학습 진행에 따른 결과 및 분석

프레임별 영향과 데이터 간의 관계를 분석하기 위해 I 프레임과 P 프레임, 그리고 그 둘을 합친 데이터 셋을 이용하여 각각에 대해 학습을 시키고 학습된 3개의 모델에 대해 같은 데이터 셋에서 추출한 테스트 영상을 이용하여 정확도를 구하는 방식으로 실험을 수행하였다. 학습은 최대 200 epoch로 수행하였으며, 20 epoch마다 중단점을 두어 학습된 모델을 검증하였으며, 에포크와 각각의 프레임별에 대한 분석을 한 결과는 표 4, 표 5 및 표 6에 각각 나타나 있다.

Table 4.

Identification accuracy with I frame training

Table 5.

Identification accuracy with P frame training

Table 6.

Identification accuracy with I & P frame training

표 4는 I 프레임으로 학습하고 각각의 프레임에 대한 정확도를 나타낸 표로 단일 I 프레임에 대해서 높은 결과를 보이며 표 5는 P 프레임으로 학습하고 각각의 프레임에 대한 정확도를 나타낸 표로 단일 P 프레임에 대해서 높은 결과를 보인다. 표 6은 I와 P 프레임을 모두 이용하여 학습한 결과의 정확도로 예상과는 달리 단일 P 프레임에서 높은 정확도를 보이고 있다.

일반적으로 key 프레임이라고 부르는 I 프레임의 경우에 많은 특성이나 정보가 남아 있을 것으로 생각했으나 본 실험에서 나타난 것과 같이 I 프레임만 학습시킨 경우에 전반적으로 낮은 정확도를 보이는 것을 알 수 있다. 또한, I와 P 프레임을 모두 학습시킨 경우에 I 프레임만 학습시켰을 때에 비해서 I 프레임에 대한 정확도가 높은 것으로 보아, 동영상 프레임의 특성에 따른 정확도뿐만 아니라 많은 데이터의 수 또한 정확도에 영향을 끼치는 것으로 나타났다.

그림 4는 모든 실험 결과를 하나의 그래프로 도시하였으며, ‘-’의 좌변은 학습에 사용된 프레임, 우변은 검증에 사용된 프레임을 나타낸다.

Fig. 4.

Training-prediction accuracy

4.3 프레임 종류에 따른 결과 및 분석

본 논문의 최종 목표인 비디오 카메라 모델 판별을 위해서 I와 P 프레임의 다양한 학습/예측 중에서 최적의 모델을 찾기 위해 모델 각각에 대한 정확도를 구하였다.

I 프레임을 학습시킨 후 I, P, I/P 프레임을 판별했을때의 정확도, P 프레임을 학습시켰을 때 I, P, I/P 프레임을 판별 했을때의 정확도, I와 P 프레임 모두를 학습시켰을 때 I, P, I/P 프레임을 판별 했을때의 정확도를 분석하였고 표 7에 각각의 학습/예측 모델의 정확도를 정리하였다.

Table 7.

Training/prediction model accuracy average

I 프레임 학습의 경우, 정확도가 다른 경우에 비해 낮은 것을 확인할 수 있다. 또한, I와 P 프레임 학습의 경우에도 I 프레임의 영향으로 인해 정확도가 P 프레임 학습에 비해 낮은 것을 알 수 있다. 따라서 P 프레임 학습과 P 프레임 예측의 경우 가장 높은 정확도를 보이는 것을 알 수 있다. 뿐만 아니라 비슷한 평균 정확도를 보이는 I와 P 프레임 학습과 I와 P 프레임 예측은 정확도의 편차가 나타나는 것을 볼 수 있다. 결론적으로 비디오 카메라 모델 판별을 위해서 P 프레임 학습 및 P 프레임 예측을 이용하는 것이 우수한 것으로 나타났다.

4.4 동영상 판별 결과 및 분석

본 논문에서 제안하는 비디오 카메라 모델 판별 알고리즘의 경우 프레임별 분석이 아닌 입력으로 사용된 패치의 출력값을 누적 계산하여 가장 많은 클래스의 모델을 해당 모델이라 판별한다. 표 8에는 이러한 결과를 간략히 나타내었으며, True는 정확하게 찾은 패치의 수를, All은 전체 입력으로 사용된 패치의 수를 나타낸다. 실험 결과에 따르면 모든 동영상에 대해 전체 패치 수 중에서 정확하게 찾은 패치의 수가 잘못 판별된 경우보다 많음을 알 수 있다. 본 알고리즘을 이용하여 동영상을 촬영한 비디오카메라 모델 판별에 대해서는 100%의 정확도를 달성하였다.

Table 8.

Result of video camera patch identification for each model