Journal Archive

그림 2는 제안된 합성 알고리즘에서 사용된 합성곱 신경망 모델을 보여주고 있다. 네트워크의 각 브랜치는 3개의 convolutional layer와 1개의 max-pooling layer가 있음을 알 수 있다. 각 convolutional layer의 커널 크기와 stride는 3×3과 1로 각각 설정된다. max-pooing layer의 커널 크기와 stride는 2×2와 2로 각각 설정된다. 각 브랜치에 의해서 획득된 256개의 피처 맵들이 연결된 후에 256 차원의 피처 벡터와 완전 연결된다. 네트워크의 출력은 256차원의 벡터와 완전 연결된 2차원의 벡터이다. 실제로, 2차원의 벡터는 2개의 클래스에 대하여 확률 분포를 제공하는 softmax layer로 전해진다.

Fig. 2. 
Convolutional Neural Network(CNN) model utilized in the proposed fusion algorithm

테스트와 합성 과정에서 두 개의 완전 연결 층들을 convolutional layers로 변환한 후 제안된 네트워크에 임의의 크기를 가지는 블러링된 두 개의 소스 이미지들을 제공하여 스코어 맵을 생성할 수 있다[5].

소스 이미지들이 H × W의 크기를 가질 때, 출력 스코어 맵의 크기는 (Ceil(H/2)-8+1) × (Ceil(W/2)-8+1)이고, Ceil( • )은 올림 함수를 나타낸다.

학습 데이터들은 ImageNet 데이터셋에서 파생된 50,000개의 고품질 자연 이미지들을 포함하는ILSVRC 2012 검증 이미지셋에 있는 영상들로부터 생성된다[6]. 각 이미지에서 가우시안 필터링을 사용하여 다섯 개의 블러링된 이미지들을 얻는다. 구체적으로, 표준 편차가 2이고 7×7의 가우시안 필터가 사용된다. 첫 번째 블러링된 이미지는 원래의 선명한 이미지에 가우시안 필터를 적용함으로써 얻어진다. 그리고 두 번째 블러링된 이미지는 첫 번째 블러링된 이미지에 가우시안 필터를 적용함으로써 얻어진다. 이와 같은 방법으로 총 5개의 블러링된 이미지를 얻을 수 있다. 그리고 각 블러링된 이미지와 원래의 이미지에 대하여 16×16 크기를 가진 20개의 패치 쌍이 무작위로 샘플링된다.

본 논문에서는 데이터셋을 통해 1,000,000개의 패치 쌍을 얻는다. p₁과 p₂를 입력 패치, p_c와 p_b를 선명한 패치와 블러링된 패치로 각각 정의하면, p₁ = p_c와 p₂ = p_b가 성립될 때 레이블이 1로 설정된 데이터를 나타내고, p₁ = p_b와 p₂ = p_c가 성립될 때 레이블이 0으로 설정된 데이터를 나타낸다. 따라서 본 논문에서는 학습 데이터셋은 1,000,000개의 레이블이 1로 설정된 데이터와 1,000,000개의 레이블이 0으로 설정된 데이터로 구성되어 있다.

분류 목적으로 합성곱 신경망을 이용할 때처럼 softmax 손실 함수가 제안된 신경망에 사용된다. 확률적 경사 하강법(SGD, Stochastic Gradient Descent)는 손실 함수를 최소화하기 위해 적용된다. 학습 과정에서 배치 크기는 128로 설정한다. 또한, 모멘텀과 가중치 감쇠는 0.9와 0.0005로 각각 설정한다. 가중치는 식 (1), (2)와 같이 갱신된다.

식 (1)과 (2)에서 v는 모멘텀 변수, i는 반복 인덱스, α는 학습률, L은 손실 함수, ∂L∂wi은 w_i에서 가중치에 대한 손실의 미분을 나타낸다. 제안된 신경망은 딥러닝 프레임 워크인 Caffe를 사용하여 학습한다. 각 convolutional layer의 가중치들은 입력과 출력 뉴런 수에 따라 초기화의 스케일을 적응적으로 결정하는 Xavier 알고리즘을 가지고 초기화된다. 각 층의 편향과 학습률은 0과 0.0001로써 각각 초기화된다. 손실이 안정적인 상태에 도달할 때, 학습률을 수동으로 10배만큼 떨어뜨린다. 학습된 신경망은 2백만 개의 학습 데이터들을 통하여 10번의 epochs 후에 최종적으로 얻어진다. 학습률은 학습 과정 동안 1번 줄였다.

제안된 다초점 영상 합성 방법은 초점 감지, 초기 분할, 일관성 검증, 합성 단계로 구성되어 있다. 초점 감지에서, A와 B를 블러링된 두 개의 소스 이미지들이라고 가정한다. 제안된 합성 알고리즘에서, 소스 이미지들은 컬러 이미지일 경우에는 그레이 스케일 공간으로 변환된다. A^ 와 B^를 A와 B의 그레이 스케일 버전이라고 가정한다. 스코어 맵 S는 A^ 와 B^가 학습된 합성곱 신경망 모델에 전해짐으로써 얻어진다. S에서 각 계수 값은 0에서 1 사이의 범위를 가지는데, 소스 이미지들에서 16×16크기의 패치 쌍의 초점 특성을 나타낸다. 계수 값이 0 또는 1에 가까울수록 소스 이미지 A^ 또는 B^의 이미지 패치가 더 초점이 맞춰진 것을 알 수 있다.

S의 이웃하는 2개의 계수에 대하여 각 소스 이미지에서 상응하는 패치들은 2개의 픽셀의 stride를 가지고 겹친다. 소스 이미지들과 같은 크기를 가지는 초점 맵 M을 생성하기 위해 S에 있는 각 계수의 값을 M에서 상응하는 패치들에 속해 있는 모든 픽셀에 할당하고 겹치는 픽셀들의 평균을 구한다.

다음 단계인 초기 분할에서는 가능한 많은 유용한 정보를 보존하기 위해 초점 맵 M은 더 많이 처리될 필요가 있다. 대부분의 공간 도메인 기반의 다초점 영상 합성 방법들에서 쓰는 Choose-max 기법을 채택하여 M을 처리한다[7]. 고정된 임계값 0.5가 M을 이진 맵 T로 분할 하기 위해 적용된다. 이것은 학습된 합성곱 신경망 모델의 분류 원리와 일치한다. 즉, 초점 맵은 식 (3)과 같이 분할된다.

분할된 이진 맵은 약간의 잘못 분할된 픽셀들을 포함하고 있을 수도 있어서 작은 영역 제거 방법을 사용하여 잘못 분할된 픽셀들을 제거한다. 구체적으로, 한 영역 임계값보다 작은 영역은 이진 맵에서 전환된다. 소스 이미지들에서 매우 작은 구멍들을 포함하고 있는 경우가 발생하면, 임계값을 0으로까지 조정해야 하는 경우가 발생한다. 이것은 영역 제거 방법이 적용되고 있지 않다는 것을 의미한다.

본 논문에서는 영역 임계값을 0.01×H×W으로 설정하고, H와 W는 각 소스 이미지의 높이와 너비를 각각 나타낸다. 이진 맵 T에서 영역 제거 방법이 적용된 후의 결과를 초기 결정 맵 D라고 가정한다. 합성된 이미지에서 초점 영역과 블러링된 영역 사이의 경계 부분에 원하지 않는 artifacts가 생기는 경우가 발생하므로 본 논문에서는 guided filter를 이용하여 초기 결정 맵 D를 개선한다[7].

Guided filter는 매우 효율적인 edge 보존 필터로써 guidance 이미지의 구조적 정보를 입력 이미지의 필터링 결과로 전달할 수 있다. 초기 합성된 이미지를 초기 결정 맵 D의 필터링을 위해 guidance 이미지로 설정한다. guided filter 알고리즘에는 지역 윈도우 반지름인 r과 정규화 파라미터 ϵ와 같이 두 개의 파라미터들을 가지고 있다.

본 논문에서는 반복된 실험들을 통해 8과 0.1로 각각 설정하였다. 마지막으로, 합성 단계에서는 얻어진 결정 맵 D를 가지고 식 (4)와 같은 픽셀 단위 가중 평균 규칙을 통해 합성 이미지 F를 계산할 수 있다.