고주파 통과 필터와 합성곱 신경망을 이용한 동영상 촬영 장치 판별 알고리즘

2.1 특징 기반 촬영 장치 판별 연구

촬영 장치 판별을 위한 기존의 연구들은 동영상이 아닌 영상 촬영 장치를 대상으로 하고 있으며, 촬영 센서의 불완전성에 기인하는 고유한 잡음 특징을 활용하는 연구가 대부분이며, 장치의 색상 필터 행렬에 대한 보간 특성, 암전류 특성 등을 활용하는 연구들도 진행되었다.

Lukas 등 및 Chen 등은 영상 촬영 과정에서 물리적 센서의 불완전성에 의하여 의도하지 않게 발생하는 센서 고유의 패턴 잡음(PRNU, Photo Response Non-Uniformity)를 이용하여 촬영 장치를 판별하기 위한 연구를 수행하였다[2][3].

Bayram 등은 컬러 영상을 생성하기 위해서는 색상 필터 행렬(Color filter array)를 통과한 신호에 대하여 보간의 과정을 거치는데 이때 발생하는 화소 사이의 상관 관계를 이용하여 촬영 장치 판별하기 위한 연구를 수행하였다[4].

Kuroki 등은 캠코더에 포함된 CCD(Charged Coupled Device) 센서에 흐르는 암전류(Dark current)의 비균일성을 이용하여 촬영 장치 판별하기 위한 연구를 수행하였다[5].

이와 같은 연구들은 사람이 직접 고안한 특징을 활용하여 판별하기 위한 기술들로서, 새로운 기기들이 빠르게 나타나는 상황에서 사람이 직접 특징을 고안하는 것이 용이하지 않다.

2.2 딥러닝 기반 촬영 장치 판별 연구

최근에는 딥러닝 기술을 도입하여 촬영 장치를 판별하기 위한 연구들이 진행되고 있다. 이를 통하여 사람이 장치들을 판별하기 위한 특징을 직접 고안하지 않고, 최적의 특징을 인공 지능을 통하여 학습을 하도록 하고 있다.

Tuama 등은 고주파 통과 필터와 3개의 합성곱 계층과 3개의 전연결 계층을 갖는 딥러닝 모델을 이용한 카메라 모델 판별 연구를 수행하였다[6]. Dresden 데이터베이스에서 27개 장치 및 추가적인 6개 장치로 촬영한 영상을 이용하여 성능을 분석하였고, 91.9% 정확도를 달성하였다.

Wang 등은 밝기 변화에 무관하도록 LBP(Local Binary Pattern) 코딩을 이용하고 3개의 합성곱 계층과 3개의 전연결 계층을 갖는 딥러닝 모델을 이용한 모델 판별 연구를 수행하였고 Dresden 데이터베이스의 12개 장치를 활용하여 98.78%의 판별 정확도를 달성하였다[7].

기존의 합성곱을 활용한 모델의 경우 계층을 통과하는 과정에서 해상도가 줄어드는 문제가 발생하므로 Kamal 등은 Dense 합성곱 신경망을 이용한 모델 판별 연구를 수행하였다[8]. 1개의 합성곱 계층과 3개의 Dense 블록 계층으로 네트워크를 구성하였고 Dresden 데이터베이스의 19개 카메라 모델에 대하여 99% 이상의 정확도를 달성하였다.

합성곱 신경망에서 계층이 얕은 경우 성능이 저하되는 문제를 해결하기 위하여 Chen 등은 잔차 매핑을 활용하는 잔차 뉴럴 네트워크(ResNet, Residual Neural Network)를 이용한 카메라 모델 판별 연구를 수행하였다[9]. 5개의 합성곱 계층과 1개의 전연결 계층으로 구성하였고, 브랜드 판별에서는 13개 카메라 대상으로 99.1% 정확도를 보였고, 모델 판별에서는 27개 카메라 대상으로는 94.7% 정확도를 보였으며, 장치 판별에서는 73개의 카메라를 대상으로 45.8% 정확도를 보였다.

이와 같은 딥러닝을 활용한 연구들의 경우도 대부분 영상 촬영 장치를 대상으로 연구를 진행하고 있고 동영상 촬영 장치를 대상으로 하는 연구는 많지 않다. 동영상은 영상과는 다른 프레임 특성을 갖고 있고, 압축 방법과 압축률이 다르며, 방대한 용량을 가지고 있어서 연구를 수행하는 것이 용이하지는 않다.

2.3 영상과 동영상 압축에 대한 비교

일반적으로 영상은 인접한 픽셀 사이의 밝기값 차이가 평균적으로 크지 않고 유사한 공간적 중복성(Spatial redundancy) 특징을 갖는다. 따라서 영상에 대한 압축은 이와 같은 공간적 중복성을 제거하는데 주로 초점을 맞추고 있다.

그러나 동영상은 다수의 프레임들로 구성이 되어 있으며, 영상처럼 공간적 중복성 뿐만이 아니라 이전 프레임의 픽셀 밝기값이 다음 프레임의 픽셀 밝기값과 유사한 시간적 중복성(Temporal redundancy)을 갖고 있다. 따라서 압축을 수행할 때 각 프레임 독립으로 처리하지 않고 인접 프레임 사이의 상관 관계를 활용하여 압축률을 높인다.

동영상은 그림 1과 같이 GoP(Group of Pictures)로 부르는 프레임들의 집합으로 구성된다.

Fig. 1.

Group and types of video frames

시간적 중복성은 시간에 따라 나열된 프레임의 집합이란 점에서 연속된 프레임 사이에 갑작스럽고 큰 변화가 없는 한 실제로는 프레임에 속한 픽셀들이 조금씩 변화할 뿐이다. 이 경우 실제로 배경과 같은 대부분의 정적인 요소들은 연속된 프레임 사이에 거의 불변이며, 물체의 움직임만 차이가 난다. 동영상은 이러한 시간적 중복성을 제거하기 위하여 연속된 프레임 사이에 변하지 않는 배경과 같은 정적인 요소들에 의한 영향을 제거하는 기법들을 활용하며 이것이 영상 압축 방법들과 가장 큰 차이점이다. 또한 동영상은 일반 영상에 비해 많은 정보를 연속적으로 표현해야 하므로 많은 저장 공간을 요구하므로 높은 압축률로 압축을 한다.

GoP는 인트라 프레임과 비인트라 프레임으로 구성되어 있다. 인트라 프레임(I 프레임)은 영상과 마찬가지로 DCT를 이용하여 공간적 중복성만 제거한 프레임으로 JPEG와 유사한 압축방식으로 압축된 프레임이다. 하지만 JPEG의 압축과 유사할 뿐, 실제 압축 방법은 상이하다. 일반적으로 I 프레임은 키 프레임으로 불리며 연속되는 화면의 기준이 된다. 비인트라 프레임은 예측 프레임(P 프레임)과 양방향 예측 프레임(B 프레임)으로 구성되어 있다. P 프레임은 앞에 나타난 I 프레임 또는 다른 P 프레임을 참조하여 움직임 보상 처리 후에 움직임 벡터와 예측 오차를 인코딩하여 처리한 프레임이다. B 프레임은 앞과 뒤의 I 프레임과 P 프레임의 2개의 프레임을 이용하여 움직임 보상을 거친 프레임이다. 특히 B 프레임의 경우 이전의 프레임과 이후의 프레임간의 차이를 평가하여 구성하므로 시간적인 연속성에 보장되지 않는다.

3.1 최적 동영상 프레임 종류 설정

동영상은 I 프레임, P 프레임, B 프레임으로 구성이 되어 있으며, 각 프레임 유형마다 압축 방식이 다르다. I 프레임은 공간적 중복성만을 제거하고, P 프레임과 B 프레임은 시간적 중복성도 제거한다. 따라서 I 프레임은 정보의 손실이 가장 작은 특성이 있고, P 프레임과 B 프레임은 다른 프레임의 정보를 고려하여 차이가 있는 영역에 대해서 움직임 보상 등 처리를 통하여 압축을 수행하므로 압축률이 높으나 정보 손실이 상대적으로 크다. 특히 B 프레임은 시간적으로 과거와 미래에 존재하는 프레임을 활용하여 압축을 수행하는데, 실시간 촬영을 하며 압축하는 경우 하드웨어 성능에 대한 제약과 미래의 프레임 정보를 활용할 수 없어서 압축된 동영상에 보통은 포함되지 않는다.

따라서 동영상 프레임 종류에 따른 3.2절에서 설명하는 고주파 통과 필터와 합성곱 신경망으로 구성된 딥러닝 모델의 성능 분석을 위하여 5개 디지털 카메라 장치로 동영상을 촬영하였고, 각 동영상에서 프레임을 종류별로 추출하였다. 프레임의 해상도가 하드웨어 성능에 비하여 크기 때문에 256×256 픽셀의 패치로 분할을 수행한 후에 학습과 판별을 수행하였고, 정확도에 대한 분석을 수행하여 표 2에 정리하였다. 다수의 장치를 사용하여 실험을 수행하는 것은 계산 자원과 시간 측면에서 비효율적으로, 5개 장치로 제한을 하여 실험하고 분석하였다.

Table 2.

Identification accuracy analysis depending on video frame types

분석한 결과에 따르면 P 프레임으로 딥러닝 모델의 학습을 수행한 후에 P 프레임으로 판별을 수행하는 것이 96.2%로 매우 높은 정확도를 갖는 것으로 나타났다.

동영상 촬영 장치를 판별하는 측면에서 I 프레임이 압축으로 인한 정보의 손실이 작아서 판별의 정확도가 높을 것으로 예상되지만 프레임 개수가 적어서 정확도가 낮은 것으로 나타났다.

P 프레임만 사용하는 경우 압축 과정에서 움직임 보상 등으로 인하여 위치 정보에 대한 동기화가 어긋나기 때문에 정보의 손실이 I 프레임보다 많이 발생하지만 다수의 프레임이 존재하여 오히려 유리한 것으로 나타났다.

I 프레임과 P 프레임을 동시에 활용하는 경우도 높은 성능을 갖고 있는 것으로 나타났지만, P 프레임만을 사용하는 것보다는, 오히려 I 프레임이 학습을 방해하는 효과를 나타내었다.

3.2 합성곱 계층수에 따른 판별 정확도

영상을 대상으로 하는 카메라 모델 판별을 위한 기존 연구들에서는 고주파 통과 필터와 3개 합성곱 계층으로 구성된 합성곱 신경망을 일반적으로 활용하였다. 그러나 최적의 합성곱 계층의 수나 파라미터 등에 대한 분석은 제시되지 않았다.

본 논문에서 제안하는 동영상 촬영 장치 판별 알고리즘에서도 범용적으로 활용되는 고주파 통과 필터와 합성곱 신경망 모델을 설계하여 활용하였다. 다만, 동영상 촬영 장치 판별에 있어서 최적의 성능이 나타나도록 모델에 대한 계층의 구성, 처리 함수와 파라미터에 대한 최적화를 수행하였다.

최적의 합성곱 계층 수를 결정하기 위하여 12개 장치로 촬영한 256×256 해상도 컬러 영상에 대하여 2개~5개 다양한 컨볼루션 계층 수를 설정하여 판별 정확도에 대한 실험을 수행하였고, 그 결과를 표 3과 그림 3에 정리하였다. 그림 3의 X축은 epoch 및 Y축은 정확도를 나타낸다.

Table 3.

Identification accuracy depending on the setting of convolutional layers

Fig. 3.

Identification accuracy depending on the number of convolutional layers

다수의 장치 데이터를 활용하는 것은 높은 계산 시간과 자원을 필요로 하여 효율성을 위하여 12개 장치로 제한하여 실험하였다. 공통적으로 입력 영상에 고주파 통과 필터를 적용하였으며, 전연결 계층은 2개로 하였고, 맥스 풀링(Max Pooling) 기법을 적용하였다. 기존 연구들에서는 3계층을 많이 사용하지만 표 3과 그림 3에 나타난 것과 같이 4계층을 활용하는 것이 수렴 속도도 빠르며 정확도가 더 높은 것으로 나타났다. 오히려 계층의 수가 더 많아지는 경우 정확도가 더 저하되는 것으로 판단된다.

3.3 고주파 통과 필터와 합성곱 신경망 모델

그림 2의 동영상 촬영 장치 판별 알고리즘에 적용된 고주파 통과 필터와 합성곱 신경망으로 설계된 동영상 촬영 장치 판별 모델에 대하여 계층 구성, 처리 함수, 파라미터 설정 등을 구체적으로 도시하면 그림 4와 같다.

Fig. 4.

Video capturing device identification model based on high-pass filter and convolutional neural network

각 프레임에서 추출한 패치들을 입력 받은 후에, 2절에서 설명한 특징 기반 장치 판별의 연구들과 유사하게 입력된 패치에 존재하는 하드웨어 촬영 센서의 고유한 흔적 즉 특징을 추출하기 위하여 고주파 통과 필터를 적용한다. 고주파 통과 필터를 위해서는 다음과 같이 범용적으로 활용되는 5×5 크기의 마스크를 사용하였다.

컨볼루션 계층은 3.2절의 실험과 같이 4계층이 최적으로 분석되어 4개로 구성하였으며 첫 번째 및 두 번째 컨볼루션 계층은 커널 크기가 3이고 stride가 2이며 출력은 64개로 설정하였다. 세 번째 컨볼루션 계층은 커널 크기가 3이고 stride를 2로 하고 출력은 128로 설정하였다. 마지막 네 번째 컨볼루션 계층에서는 커널 크기가 3이고, stride를 1로 하였으며 출력은 32로 설정하였다.

모든 계층의 활성화 함수로는 0 이하의 값을 0으로 설정하고, 0 초과의 값을 그대로 유지하는 ReLU(Rectified Linear Units)를 이용하였다[7].

컨볼루션 계층의 마지막에는 출력의 크기를 줄이기 위해 맥스 풀링 처리를 수행하며 파라미터값으로 커널 크기는 3, stride는 2로 하였다. 맥스 풀링 과정을 통하여 2×2 값 중에 최대값 1개를 선택하여 남김으로써 크기를 줄일 수 있다[11].

컨볼루션 계층에 대한 처리를 수행하고 난 후에 전연결 계층은 2개로 구성하였고, 두 계층 모두 Drop-out을 0.5로 설정하였다. 첫 번째 계층의 경우 256개의 노드로 구성하였고, 두 번째 계층의 경우 4096개의 노드로 구성하였다. 마지막으로는 소프트맥스(Softmax) 과정을 통해 최대값을 검색하여 각 촬영 장치에 대한 판별을 수행한다.

4.1 실험 환경과 데이터

동영상 촬영 장치 판별을 위한 알고리즘의 실험과 분석을 위하여 CPU는 Intel i7-7700, 그래픽카드는 nVidia TitanXP(VRAM 12GB)를 사용하였다. 메모리는 16GB로 구성하였고, Windows 10 환경에서 Tensorflow GPU(1.15.0 버전) 프레임워크를 사용하여 알고리즘을 구현하였다.

실험을 위해서 총 31개의 동영상 촬영 장치를 사용하여 동영상 데이터를 확보하였고, 각 장치 모델, 동영상 해상도, 학습과 판별에 사용한 동영상 개수 및 총 I 프레임과 총 P 프레임의 개수를 표 4에 정리하였다.

Table 4.

Video capturing device, video resolution and frame numbers

고품질 DLSR과 미러리스 카메라, 범용 디지털 카메라 및 스마트폰 카메라 등 다양한 장치를 이용하여 데이터를 수집하였고, FHD(1920×1080) 및 QHD(3840×2160) 등 다양한 해상도의 데이터를 갖고 있다. 학습과 판별에 사용한 동영상 개수는 유사하지만 녹화 시간 등의 차이로 인하여 프레임 수에는 차이가 있으나, P 프레임이 I 프레임보다 10배 이상 많은 것을 확인할 수 있다.

특히, 동일한 모델에 대한 판별 성능 분석을 위해 동일한 모델이지만 다른 장치로는 Galaxy Note2, Galaxy Note3, iPhone 5S, 및 iPhone 6가 포함되어 있음을 확인할 수 있다.

4.2 동영상 촬영 장치 판별 정확도 분석

각 장치로 촬영한 동영상에서 P 프레임을 추출하고, 각 프레임을 256×256 패치로 분할하여 딥러닝 모델에 대한 학습을 수행한 후에 패치 별로 판별한 결과와 최대 빈도수를 기준으로 동영상에 대한 판별을 수행한 정확도 결과를 표 5에 요약하였다.

Table 5.

Identification accuracy for each patch and videos

패치 판별 정확도의 경우 특정 장치 모델로 촬영한 동영상의 전체 패치 중에서 해당 장치 모델로 촬영한 것으로 올바르게 판별한 패치의 비율을 의미하며, 총 31개 동영상 촬영 장치를 대상으로 69.7%의 정확도를 보였다. G2, Galaxy S4 LTE, iPhone 6 C 모델의 경우 패치별 판별 정확도가 40% 초반인 것을 확인할 수 있다.

동영상 판별 정확도의 경우 특정 장치로 촬영한 동영상에 대하여 해당 장치 모델로 촬영한 것으로 올바르게 판별한 동영상의 비율을 의미하며 총 31개 동영상 촬영 장치를 대상으로 91.3%의 정확도를 보였다. 학습 동영상이 아닌 판별 동영상만을 대상으로 정확도를 계산하였다. 대부분 장치에서 100%로 올바르게 판별하고 있는 것을 확인할 수 있으며 패치 판별 정확도가 낮은 Galaxy S4 LTE, iPhone 6 C 모델의 경우가 동영상 판별 정확도도 낮았으며 Canon IXUS 160 모델도 정확도가 50%대로 낮은 것을 확인할 수 있다.

본 논문에서 제안하는 동영상 촬영 장치 판별 알고리즘의 경우 프레임 단위(또는 패치 단위)로 정확도를 판별한 후에 최대 빈도수를 갖는 것으로 촬영 장치를 판별하기 때문에 패치 판별의 정확도가 낮은 경우에도 올바르게 동영상 촬영 장치를 판별할 수 있는 것을 확인할 수 있으며 최종적으로 91.3%의 높은 정확도를 달성하였다.

4.3 동일 브랜드의 동일 모델 판별 분석

기존의 특징 기반 촬영 장치에 대한 판별 연구들의 경우 브랜드나 모델에 대한 판별 보다는 개별 장치에 대한 판별이 가능하였다[12][13]. 그러나 딥러닝을 활용한 연구들의 경우는 개발 장치보다는 모델에 대한 판별이 가능하였고 개별 장치에 대한 판별은 상대적으로 정확도가 낮은 것으로 나타났다. Chen 등의 영상 촬영 장치 판별 결과를 분석해 보면 동일 모델에 대해서는 94.7% 정확도를 달성하였으나 동일 장치에 대한 판별에서 45.8%로 낮은 정확도를 보였다[9].

본 논문에서 적용한 고주파 통과 필터와 합성곱 신경망 모델도 패치별 식별 정확도는 69.7%로서 Chen 등의 결과보다는 높지만, 낮은 것을 확인할 수 있다. 또한, Galaxy Note3나 iPhone 6의 경우를 보면 동일 모델임에도 정확도 차이가 큰 것을 확인할 수 있다. 이는 딥러닝 기반의 모델들이 장치 식별보다는 모델 식별에 적합하도록 학습이 이루어지기 때문이고, 동일 장치들에 대한 구분이 어려워서 특정 장치로 학습이 편향되기 때문으로 판단된다.

그러나 본 논문에서 제안하는 최대 빈도수를 적용한 동영상 촬영 장치 판별 알고리즘을 통하여 장치에 대한 판별을 수행하는 경우 동일한 Galaxy Note2에 대해서는 100% 구분을 하였고, Galaxy Note3 모델에 대해서는 21개에서 2개를 제외하고 구분을 하였으며, 동일한 iPhone 5S 모델에 대해서는 100% 구분을 하였고, 동일한 iPhone 6 모델에 대해서는 28개 중 5개를 제외하고 구분을 하였다. 따라서 총 79개 동영상 중에서 72개를 올바르게 판별하여 동일 모델에 대해서도 91.1%의 장치 판별 정확도를 보였다.

기존 연구들이 영상을 대상으로 하고, 본 연구는 동영상을 대상으로 하여 차이는 있을 수 있겠지만 제안하는 알고리즘에서 도입된 최대 빈도수를 이용하여 촬영 장치를 판별하는 방법을 이용한다면, 기존의 연구들이 모델에 비해 낮은 성능을 보이는 장치 판별에 대해서도 충분히 정확도를 향상할 수 있을 것으로 판단된다.

4.4 다른 알고리즘과 성능 비교

본 논문에서 제안하는 알고리즘을 기존의 동영상 촬영 장치 판별 알고리즘과 비교를 수행하였고 그 결과를 표 6에 정리하였다.

Table 6.

Performance comparison with other video capturing device identification algorithms

촬영된 장치의 숫자가 다르고, 알고리즘과 분류 모델에 따라서 성능이 차이가 날 수밖에 없는 특징은 있으나, 제안한 모델이 더 많은 장치를 대상으로 하였음에도 불구하고 전통적인 판별 기법을 활용한 Milani 등[14] 및 Taspinar 등[15] 보다도 높은 정확도를 달성하였다. Hosler 등[16] 알고리즘 보다는 정확도가 낮은 것으로 보이지만 이는 사용한 동영상 촬영 장치의 수가 11개나 차이가 나기 때문으로 31개 장치를 사용할 경우 정확도가 급격히 떨어질 것으로 예상된다. Lee 등[13] 알고리즘과 비교할 때는 유사한 수의 장치를 활용하였으나 정확도가 상대적으로 낮은 것은, 영상 촬영 장치 및 동영상 촬영 장치 판별을 위한 딥러닝 기술들의 한계로 판단되며 성능 향상을 위해서는 추가적인 연구의 진행이 필요한 부분이다.