Home

가시광 영상과 근적외선 영상의 합성은 주로 디헤이즈(Dehaze)를 위해 연구된다. 안개에 의한 빛의 산란은 영상의 경계를 무너뜨리고 영상의 세부 정보를 손실시킨다. 감마 보정이나 히스토그램 평활화등의 단일 영상을 이용한 후보정 방식을 이용해 영상의 가시성을 향상시킬 수 있다. 그러나 이러한 방법은 근본적으로 입력 영상에 세부 정보가 잘 담겨있지 않기에 성능이 제한적이다. 이러한 문제를 해결하기 위해 근적외선 영상과 가시광 영상의 합성을 이용한 디헤이즈에 관한 연구가 활발하게 진행되고 있다[5]-[7]. 700 ~ 1400nm에 해당하는 파장 대역을 가지는 근적외선은 가시광선보다 안개 입자에 대한 침투성이 더 강하다. 따라서 안개나 연기가 많은 조건에서 근적외선 영상과 가시광 영상의 합성을 통해 선명하고 가시성이 좋은 영상을 재생할 수 있다. Vanmali 등은 국부 대비와 국부 엔트로피 및 가시성을 측정하여 가중치 맵을 만들어 가시광 영상과 근적외선 영상을 합성한 후 색상 및 선명도 보정의 과정을 거쳐 결과 영상을 합성하였다[4]. 본 논문에서는 웨이블릿 변환을 이용해 입력 영상을 기저성분과 세부성분으로 나눈 후, 가중치 맵을 이용해 영상을 합성하는 방법을 제시한다.

웨이블릿 변환은 음성, 통신, 영상처리 등의 다양한 분야에서 신호분석 처리를 위해 신호를 부대역(Subband) 성분으로 변환하여 다양한 분석 및 합성, 처리를 할 수 있게 한다[8]. 웨이블릿 변환과 푸리에(Fourier) 변환은 기저 함수들의 집합으로 신호를 분해하는 방법이라는 공통점을 가지지만 주기 함수를 기저함수로 사용하는 푸리에 변환과 달리 웨이블릿 변환은 국부적으로 존재하는 웨이블릿 패턴을 기저 함수로 사용한다. 영상에 웨이블릿 변환을 활용하기 위해서는 2차원 웨이블릿 변환을 활용해야한다. 2차원 웨이블릿 변환은 식 (1)로 표현된 1차원 웨이블릿 변환의 확장이라고 할 수 있다.

여기서 l(n)는 영상의 화소를 나타내고, h(k)는 고역통과 웨이블릿 필터를, g(k)는 저역통과 웨이블릿 필터를 나타낸다. N과 M은 저역통과와 고역통과 필터 계수의 개수를 각각 나타낸다.

식 (1)로 표현된 웨이블릿 변환 필터를 입력 영상에 열 방향, 행 방향에 각각 수행하는 것이 2차원 웨이블릿 변환이다. 2차원 웨이블릿 변환이 수행된 영상은 각 행과 열에 적용된 필터에 따라 4종류의 부대역 영상으로 나눌 수 있다.

공간 주파수의 영역에서 행과 열에 저역 통과 혹은 고역 통화 필터를 적용하며 4가지 대역 특성 영상을 표현 할 수 있으며, 그 중 행과 열에 모두 저역통과 필터가 적용된 부대역 영상은 세부 성분이 제거되고 대부분 기저성분만 포함하는 부대역 영상이 된다. 본 논문에서는 2차원 웨이블릿 변환을 이용해 입력 영상을 기저 성분과 세부 성분으로 분리한다.

가시광 영상과 근적외선 영상의 취득에 있어 단일 카메라 시스템의 경우 영상 간 촬영 시간차가 발생할 수 있고, 피사체의 이동 등의 이유로 인해 두 영상의 일치도가 떨어질 수 있다. 이 경우 영상을 합성했을 때 피사체의 경계가 불분명해지고 블러링 문제가 발생하게 된다. 제안하는 알고리즘에서는 일치도가 높은 가시광 영상과 근적외선 영상을 동시에 취득하기 위해 그림 1과 같이 두 개의 나란한 라즈베리파이 카메라 모듈을 사용한다. 전체적인 구성에서 두 개의 라즈베리 카메라 모듈과 라즈베리파이 보드에 영상 디스플레이를 위한 모니터를 연결하였다. 가시광 영상과 근적외선 영상을 각각 얻기 위해 카메라 가시광 대역 렌즈와 근적외선 대역 렌즈를 각각 사용한다. 그림 2는 가시광과 근적외선 영상을 구현 장치로 촬영 후 합성 결과를 디스플레이하는 모습을 보여준다.

Fig. 1. 
Implementation of a multi-camera system, (a) Two camera lenses placed side by side, (b) a monitor connected to dual camera, and (c) the rear view of the implementation device

Fig. 2. 
Operation of implemented device

구현 장치의 동작 흐름은 그림 3과 같다. 각각의 카메라 센서에서 촬영된 가시광 영상과 근적외선 영상은 듀얼 어댑터(Dual adapter)를 통해 라즈베리파이 보드로 전달된다. 전달된 영상은 라즈베리파이 보드 내에서 성분 분리 및 합성이 이루어지고 합성된 영상은 장치의 디스플레이를 통해 송출된다.

Fig. 3. 
Device operation flow

두 입력 영상은 카메라의 광경로 차이로 인해 바로 합성 시 정합 오차가 발생하게 된다. 따라서 이 차이를 보상하기 위해서 호모그래피 매칭 기반의 알고리즘을 사용한다. 호모그래피 매칭은 3차원 공간상의 평면을 다른 시점에서 바라봤을 때 획득되는 영상의 관계를 특징점을 통해 파악해 호모그래피 매트릭스를 만들고, 이를 이용하여 두 영상의 정합을 맞추는 과정을 의미한다. 이는 식 (2)와 같이 표현할 수 있다[3].

여기서 H는 호모그래피 매트릭스를 의미한다.

식 (2)는 H로 표현된 호모그래피 매트릭스를 이용하여 입력 영상의 점 (x₂,y₂,1)을 (x₁,y₁,1)로 새롭게 매핑(Mapping)하는 과정을 나타낸다. ORB (Oriented FAST and rotated BRIEF) 알고리즘을 사용하여 특징점을 검출하고 이를 이용해 호모그래피 매트릭스를 만든다[9].

그림 4는 라즈베리파이 보드로 전달된 가시광과 근적외선 영상을 합성하는 과정을 나타내고 있다. 영상의 휘도, 채도 성분 분해, 공간 정합, 웨이블릿 변환, 기저 정보 및 세부 정보 융합, 웨이블릿 역변환, 색 보상, 및 색 공간 변환 과정으로 구성된다.

Fig. 4. 
Flowchart of proposed algorithm

먼저, 취득한 가시광과 근적외선 영상을 CIELAB 색공간 변환을 통해 휘도 채널 L과 색 채널 a, b로 분리한다. 가시광 영상의 색 채널 a_Vis,b_Vis는 보존되어 색 보정(Color correction)을 거친 후 합성 영상의 색 채널로 사용된다. 두 영상의 공간적 시각차이 보상을 위한 영상 정합은 두 영상의 휘도 채널에서 이루어진다. ORB 알고리즘을 통해 두 영상의 휘도 채널의 특징점을 찾아 상호 비교를 통하여 good match points를 정한 후, 이를 이용하여 호모그래피 매트릭스를 구한다. 다음, 호모그래피 매트릭스를 이용해 근적외선 영상의 휘도 채널의 3차원 공간의 점을 이동시켜 정합된 영상을 생성한다.

호모그래피 매핑 시 두 영상의 특징점을 찾아 정확하게 비교하기 위해서는 영상의 밝기에 의한 영향을 최소화하는 것이 바람직하다. 따라서 레티넥스 알고리즘을 통해 영상의 국부 대비(Contrast)를 향상시키는 영상 전처리 과정을 거친다[10]. 식 (3)은 레티넥스 알고리즘을 나타낸다.

여기서 L(x,y)는 영상의 휘도 채널을 뜻하고 R(x,y)은 레티넥스 알고리즘을 적용한 결과 휘도 채널이다. G(x,y)는 가우시안 블러(Gaussian blur) 함수를 나타낸다[11]. K는 가우시안 함수의 최댓값의 크기를 1로 만들어 주기 위한 정규화계수이고 σ는 표준편차로서 영상의 블러 양을 조절한다. σ의 크기가 작을수록 영상의 디테일이 향상하지만 노이즈가 증가하며 영상 화질의 저하가 나타난다.

레티넥스 알고리즘은 가우시안 블러링을 거쳐 취득한 영상의 배경성분에 log를 취한 후 원 영상의 log를 취한 값에서 빼줌으로서 원 영상에서 배경성분을 제거할 수 있다. 레티넥스 알고리즘의 적용을 통해 영상의 정합 정확도를 높일 수 있다.

정합된 영상의 두 휘도 채널은 웨이블릿 변환된 영역에서 합성된다. 2차원 영상에 웨이블릿 변환을 구현 하는 방법을 그림 5에서 나타내고 있다.

Fig. 5. 
Basic model of 2D wavelet transform

그림 5에서 L은 일반적인 휘도 채널을 뜻하고 LF(lowpass Filter)는 저역통과 필터, HF(Highpass Filter)는 고역 통과 필터를 뜻한다. ↓2로 표현된 블록은 입력 영상이 각 필터를 거치며 픽셀의 개수를 절반으로 줄이는 것을 나타낸 것이다. LL1, LH1, HL1, HH1은 결과 부대역 영상을 나타낸다. 공간 주파수의 영역에서 LL1은 2차원 영상의 행과 열에 저역통과 필터를 적용한 것을, LH1은 행에는 저역 통과 필터를 열에는 고역 통과 필터를 적용한 것을, HL1은 열에는 저역 통과 필터를 행에는 고역 통과 필터를 적용한 것을, HH1은 2차원 영상의 행과 열에 고역통과 필터를 적용한 부대역 영상을 의미한다.

여기서 입력 영상의 세부(detail) 성분과 기저(base) 성분을 더 세밀하게 분리하기 위해 웨이블릿 변환의 첫 단계 부대역 영상 중 LL1에 2단계 웨이블릿 변환을 실행하여 LL2, LH2, HL2, HH2의 결과 영상을 얻는다. 결과 영상은 그림 6과 같다. 본 논문에서 가시광 영상과 정합된 근적외선 영상의 휘도 합성을 위해 Cohen- Daubechies–Feauveau 9/7 웨이블릿 변환을 이용한다. 분해된 기저 영상과 세부 영상은 다음 단계에서 각 휘도 채널은 가중치 맵을 통해 합성된다[12]-[14].

Fig. 6. 
Wavelet 2-level decomposition of 2D image

그림 4에서 웨이블릿 변환된 휘도 채널이 L_{B_Vis}, L_{B_NIR}, L_{D_Vis}(i,j), L_{D_NIR}(i,j)로 표기되었다. L_B는 가시광과 근적외선 영상의 기저층(base layer)에 해당하는 휘도 채널로서 그림 6의 LL 부분에 해당한다. L_{D_Vis}(i,j) 와 L_{D_NIR}(i,j)는 가시광과 근적외선 영상의 세부층(detail layer)부분이다. 여기서 i는 부대역 depth number로 0과 1의 값을 가진다. i=0은 그림 4에서 LH1, HL1, HH1 등 1단계 웨이블릿 변환 층(layer)을 i=1은 LH2, HL2, HH2 등 2단계 웨이블릿 변환 층을 나타낸다. j는 대역 필터 종류를 나타내며 0, 1, 2 값은 각각 LH, HL, HH를 의미한다.

근적외선 영상과 가시광 영상의 부대역 합성을 위해 웨이블릿 계수 가중치 맵을 사용한다. LL을 제외한 모든 세부층은 계수 정보량에 따라 가중치를 두어 합성한다. 식 (4)와 같이 가중치 맵을 정의한다.

여기서 가시광(Vis, visible) 및 근적외선(NIR, near infrared)에 대한 국부적인 정보맵 w_map은 각각의 세부층에 가우시안 블러링을 적용하여 정의된다.

가중치 w_map은 세부층에 국부적으로 detail 정보가 더 많이 포함될 경우 값이 높아진다. 합성 영상의 세부층에서 L_{D_fused}(i,j) 는 w_map값을 이용하여 식 (5)와 같이 합성한다.

웨이블릿 변환된 L_{D_Vis}(i,j) 와 L_{D_NIR}(i,j) 의 국부 정보량에 비례하여 L_{D_fused}(i,j) 이 합성된다.

반면, 가시광 영상과 근적외선 영상의 베이스층(L_B)에 대해서는 평균 합성을 사용한다. 휘도 채널의 합성 기저층 L_{B_fused} 는 식 (6)과 같이 합성된다.

다음, 합성 기저층인 L_{B_fused} 와 합성 세부층인 L_{D_fused} 로부터 역 웨이블릿 변환(Inverse wavelet transform)을 통해 합성 휘도 채널 L_fused 로 결과영상이 변환된다.

두 영상의 휘도 채널을 합성에 의해 입력대비 출력 휘도가 변화할 경우, 채도 채널과의 불균형이 발생해 색 표현이 부자연스러워진다. 따라서 가시광 영상의 채도 채널(a_Vis, b_Vis)에 대해 합성 휘도 채널(L_fused)과 가시광 영상의 휘도 채널(L_Vis)의 비를 이용해 다음과 같이 채도 보상을 실행한다.

여기서 CC는 가시광 휘도 채널에 대한 합성 휘도 채널의 비이다. 식 (7)에서 블랙레벨(L_fused= 0)의 경우 보상 채도 성분은 없으나 CC 값이 발산되는 것을 막아주기 위해 분모에 채도 보상 값에 크게 영향을 주지 않는 임의의 값(0.001)을 더해준다.

식 (8)처럼 가시광 영상의 채도 채널(a_Vis, b_Vis)에 CC를 곱해서 휘도 변조에 대한 채도 보상을 수행한다. 이 때 채도 채널 범위의 중앙값을 0으로 만들기 위해 128을 빼준 후 CC를 곱하며 다시 128을 더하여 중앙값이 128인 균일하게 분포된 채도 채널을 얻을 수 있다. 채도보상을 통해 얻어낸 채도 채널(aʹ,bʹ)과 합성 휘도 채널(L_fused)로 부터 합성 영상을 도출한다.

영상 합성 이후 영상 선명도 개선을 위해 마스크필터를 적용하였다. 먼저 합성 영상의 명도(Value) 성분 처리를 위해 색공간 변경(Color space conversion)을 통해 합성 영상을 HSV(Hue-Saturation-Value) 채널로 변환한다. 영상은 색상(Hue), 채도(Saturation), 명도의 3채널로 분해되며 합성 명도 성분인 V_fused에 대해 다음 선명도 개선을 수행한다.

샤프닝 마스크와 합성 영상의 컨볼루션(Convolution) 연산을 통해 샤프닝 처리된 영상의 명도 채널 Vʹ_fused 를 구한다. 합성 영상의 색상 채널 및 채도 채널과 샤프닝 처리된 명도 채널을 결합하여 최종 결과 영상을 도출한다.