Home

카메라 판별을 위해 영상이 생성되는 과정에서 발생하는 고유한 흔적을 찾기 위한 연구들이 진행되었다.

Bayram et al.[4]은 Color Filter Array(CFA)를 통과한 영상 데이터 사이에서 일어나는 보간 작업이 모델마다 다르다는 점을 이용하여 연구를 수행하였다. Choi et al.[5]은 동일한 공정에서 생산된 렌즈라도 고유한 왜곡이 생기는 점에서 착안하여 카메라를 판별하는 연구를 진행하였다. Tomioka et al.[6]는 하나의 카메라 안에 있는 수많은 이미지 센서가 같은 밝기에도 동일하게 반응하지 않기에 발생하는 Photo Response Non-Uniformity(PRNU) 특징을 이용하여 연구를 수행하였다. 이 외에도 High-Pass Filter(HPF), Wiener Filter, Gray Level Co-Occurrence Matrix(GLCM) 등 다양한 특징 값을 이용해 카메라를 판별하는 연구[1][7][8]들이 수행되고 있다.

딥러닝은 여러 번의 암흑기가 있던 인공신경망 기술이 기존의 한계를 극복함에 따라 급속도로 사회 전반으로 퍼지게 되었다.

가장 기본적인 심층신경망(Deep Neural Network, DNN)을 뿌리로 삼아 학습할 데이터의 종류와 풀어야 하는 문제의 종류에 따라 다양한 모델이 제안되고 있다. 데이터 형식을 나누면 N차원 데이터와 시계열 데이터로 나뉘며, 문제의 종류는 분류, 생성, 검출 등이 있다. 카메라 판별과 관련 있는 분야는 N차원 데이터-분류에 해당하여 2차원 데이터, 즉 영상 데이터는 CNN 계열의 모델을 적용하였을 때, 높은 성능을 보인다는 것이 앞선 연구들을 통해 밝혀졌다. CNN은 DNN의 앞에 지역적 특징 추출을 위한 합성곱(Convolution) 연산 계층이 존재하는 것이 특징이다. CNN 계열 모델 중 분류/판별 분야에 관해 대표적인 모델은 AlexNet[9], GoogleNet[10], ResNet[11], DenseNet[2]이 있다. 카메라 판별 관련 연구는 이를 응용하는 연구들이 진행되고 있다.

Baroffio et al.[12]은 기본적인 CNN 구조인 합성곱 연산 계층 3개와 완전 연결 계층 2개를 연결하여 모델을 구성하여 카메라 디바이스 단위의 판별 연구과 모델 단위의 판별 연구를 진행하였다. 디바이스 단위에서는 30%의 낮은 정확도를 보이며 딥러닝 모델을 이용한 카메라 판별에서 디바이스 단위 판별은 난이도가 높다는 것을 보였다. Tuama et al.[13]는 기본적인 CNN 구조의 모델과 기존에 연구되었던 특징 기반 카메라 판별의 성능 비교를 진행하였다. Kuzin et al.[14]은 위에서 언급한 DenseNet을 응용하여 10대의 카메라를 판별 연구를 진행하였고 Rafi et al.[15]는 특징을 추출하기 위한 HPF나 Wiener Filter 같은 필터를 사용하지 않고 영상 자체의 차이값을 사용하는 RemNet을 제안하였다. 또한 널리 알려진 DenseNet을 여러 영상 크기에 적용해서 합친 후 판별하는 연구도 진행하였다[16]. Yao et al.[17]는 카메라 모델 판별 정확도를 올리기 위해 최종 결과 산출을 각 영상의 조각들로 다수결을 진행하여 높은 정확도를 보이는 방법을 제안하였다. 또한 영상에서 피사체가 위치할 가능성이 높은 부분을 사용하는 방법을 이용하였다.

위에서 제시한 대부분의 연구는 DSLR 카메라를 대상으로 진행하였지만 최근 스마트폰의 보급으로 스마트폰 카메라에 대한 연구[18][19]들 또한 활발히 진행되고 있으며 영상이 아닌 동영상을 대상으로 하는 연구[20]도 진행되고 있다.

제안하는 카메라 모델 판별 알고리즘은 지도학습의 방식을 따르며 그림 1과 같이 학습과 검증의 단계를 거친다.

Fig. 1. 
Algorithm of deep learning

학습 과정에서는 학습 영상과 정답을 모델에 입력한 후, 모델이 예측한 값과 정답을 비교하여 loss 값을 계산한다. 틀린 결과를 학습 과정에 반영하는 오류 역전파 과정을 통해 이 loss 값을 낮추는 방향으로 모델의 가중치를 수정한다. 충분한 횟수의 학습이 이루어져서 loss 값의 변화가 극히 적어지면 학습을 중단하고 검증을 시작한다. 검증 단계에서는 모델에 검증 영상만을 입력하여 모델이 예측한 값과 정답을 비교하여 판별 정확도를 산출한다.

제안하는 알고리즘의 딥러닝 모델은 DenseNet으로서 카메라 모델 판별에 적합하도록 변형하였다. Huang et al.이 제안한 DenseNet 딥러닝 모델의 일반적인 CNN 모델과의 차이점은 그림 2와 같다[2].

Fig. 2. 
Comparison between general CNN and DenseNet

기존의 CNN 모델은 합성곱 연산을 수행하면 이전 값을 고려하지 않는다. 합성곱 연산의 출력값을 이용하여 다음 계층의 입력값으로 쓰기 때문이다. 하지만 DenseNet은 Dense block이라는 개념을 도입해서 이 문제를 해결했다. Dense block 안의 Feature map은 모두 같은 크기를 가지고 Dense block의 출력값에 모두 합쳐서 나가게 된다. 이를 통해 초기 정보를 유의미한 수준으로 유지하며 학습을 계속할 수 있다. 그림 2의 Dense block은 layer 반복 횟수가 4로 설정된 예시이다.

초기 정보를 모두 가지고 있는다는 것은 학습에 유리한 것이 사실이지만 이는 반대로 연산량이 증가하여 학습 시간 및 필요 하드웨어 사양이 높아지는 결과를 초래할 수 있는 요소이다. DenseNet에서는 이를 막기 위해 BottleNeck layer와 압축의 개념을 도입하였다. BottleNeck layer은 합성곱 연산 중간에 Conv 1x1 연산을 집어넣어 차원 수를 줄이고 본래 진행하려던 연산을 수행한 후, 다시 Conv 1x1 연산을 통해 본래 채널 수로 돌아오게 한다. 이 과정을 거치면 바로 연산을 수행할 때보다 파라미터의 수가 줄어들게 되고 곧 연산량이 줄어드는 효과를 낸다. 압축 또한 연산량을 줄이기 위한 기법으로 Dense block 사이에 위치하는 Transition layer에서 채널의 수를 압축 계수만큼 줄이는 과정을 말한다.

DenseNet을 기반으로 데이터에 적합하게 조정한 모델을 사용한다. 제안하는 알고리즘 모델의 구조는 그림 3과 같고 하이퍼 파라미터는 표 1과 같다.

Fig. 3. 
Model structure of the proposed algorithm

입력 영상에 먼저 3채널 각각에 대해 HPF를 통과시킨다. 영상의 크기와 학습 소요시간을 고려하였을 때, 연산량을 충분히 감당 가능한 실험 환경을 가정하여 모델에 Bottleneck layer 부분과 압축 부분을 제거하였다.

또한 기존 연구 사례를 살펴보면 영상 판별의 경우, 깊은 모델이 필요 없기에 각 Dense block의 반복 횟수를 4로 통일하였다. 학습률은 1e-4로 시작하여 4 epoch마다 1/10을 곱하였다.

본 논문에서 제안한 모델을 실험하기 위한 하드웨어 사양으로는 CPU는 Intel의 7세대 i7을 사용하였고 GPU는 11GB의 V-RAM을 가진 NVIDIA의 GTX 1080 Ti를 사용하였다. RAM은 8GB 모듈 2개로 구성하여 총 16GB이다. 운영체제는 윈도우 10 RS4, 구현 언어는 Python 3.6, 프레임워크는 코드가 간단하고 빠른 모델 구성 및 조정이 가능한 Keras(2.2.4)를 사용하였다. Keras의 Backend 프레임워크는 Tensorflow(1.13)를 사용했다.

실험을 위한 데이터셋은 공개형 데이터베이스인 Dresden image database[3]를 이용하였다. 표 2는 Dresden에 포함된 카메라의 목록을 나타낸다.

총 14개의 카메라 브랜드, 27개의 카메라 모델, 74개의 카메라 디바이스가 포함된 데이터셋은 약 17,000장의 영상을 포함하고 있다. 모든 영상을 사용하여 학습을 진행하기에는 카메라 장치별, 디바이스별 데이터의 불균형이 심각하기 때문에 적절한 기준을 두어 실험을 진행하였다. 각 장치마다 여러 디바이스를 포함하지만 단일 디바이스에 포함된 영상이 200장이 넘는 14개의 카메라 모델만을 골라서 실험을 진행하였다. 표 3은 데이터셋 중 사용한 카메라 모델과 각 카메라의 영상 수를 나타내며 그림 4는 실험 영상의 예시이다. 동일한 영상이 없는 경우, 임의의 영상으로 대체하였다.

Fig. 4. 
Sample images of camera models used in experiments

데이터베이스의 영상 크기는 3000×2000 내외이다. 하드웨어의 한계 상, 원본 크기 그대로 영상을 입력할 수 없으므로 영상 크기를 작게 할 필요가 있다.

영상에서 피사체가 위치할 확률이 높은 영상의 중앙 면적 75%을 영상의 내용이 중복되지 않도록 그림 5와 같이 256×256 크기로 순차 분할하여 데이터셋을 만들었다. 전체 데이터셋에서 학습과 검증 데이터의 비율은 8:2로 설정하여 대략 200,000장 : 50,000장 정도의 영상을 이용했다.

Fig. 5. 
Non-overlap slice on 75% area of image

본 논문에서 제안하는 카메라 모델 판별 알고리즘의 실험 결과를 그림 6과 표 4에 나타내었다. 그림의 가로축은 학습의 반복 횟수를 나타내는 epoch이며 세로축은 정확도를 나타낸다.

Fig. 6. 
Accuracy per epoch of proposed model

최고 성능은 99.65%였으며 12 epoch 이후로는 학습 데이터셋에 대한 정확도는 미미하게 올라갔지만 검증 데이터셋에 대한 정확도가 급락하는 과적합의 양상을 보였다. 실험 초기의 학습률은 1e-4로 Adam Optimizer를 그대로 사용하였지만 50 epoch 이상의 학습에도 성능이 96~97% 수준에서 진동하였다. 이에 학습률의 유지 구간을 좁혀서 loss값의 빠른 수렴을 유도하였다. 그 결과 12 epoch 정도의 학습에도 100%에 가까운 높은 정확도를 얻었다.

기존 연구 중 Dresden image database를 사용한 실험들과 제안하는 모델을 비교하였고 그 내용은 표 5와 같다.

다양한 연구들과 비교해서 높은 성능을 보임을 확인할 수 있다. 동일한 DenseNet을 기반으로 응용하여 설계한 모델을 실험한 Kamal et al.[16]의 연구에서는 동일한 제조사의 카메라에 대해 판별 성능이 낮아지는 단점이 있다. 본 논문에서 제안하는 모델은 제조사와 관련 없이 98.88%인 카메라 하나를 빼고는 모두 99% 이상의 성능을 보여주고 있다. 또한 Tuama et al.[13]와 동일한 데이터를 이용하여 진행한 실험(Proposed-12)의 실험 결과 또한 기존의 연구보다 높은 성능을 보인다는 것을 나타내고 있다. Proposed-14 모델의 실험에서 각 카메라에 대한 오차 행렬은 표 6에 나타냈다.

최근에 스마트폰이 범용적으로 사용되고 있으나 Dresden image database에 포함되지 않아서 실험에는 포함하지 않았다. 그러나 스마트폰 영상이 카메라와 그 특성이 크게 차이가 나지 않아서 제안한 모델에 적용하더라도 성능 차이가 없을 것으로 예상되며 Lee[1] 및 Freire-Obregón et al.[18]에서도 카메라 영상과 스마트폰 영상에 대한 차별성이 크지 않음을 확인할 수 있다.