Home

시각적으로 인지 가능한 가시광의 파장 대역은 400 ~ 800nm 이고 야간 적외선 보조광을 활용하는 파장 대역은 800 ~ 1500nm 정도이다. 근적외선은 대기 중에서 미립자에 의한 산란 효과가 적어 물체의 대비와 선명도가 강한 영역이 존재하지만 매질에 따라 근적외선이 통과하지 못하는 경우 영상 정보가 포함되지 못하기도 하고 색 성분 표현에 불리함을 가진다. 이러한 특성을 고려하여 가시광 및 근적외선 영상을 모두 촬영한 후 개선된 영상을 융합 재생할 수 있다. 따라서 가시광 및 근적외선 영상 합성은 주로 가시광과 근적외선 영상의 국부 대비를 통해 정보 가시성을 측정하고 영상 전체의 경계와 질감이 최대한으로 표현되도록 합성 비를 제어 한다. 특히 야간의 IR 보조광 영상뿐만 아니라 주간에 안개나 연기 또는 그늘진 영역이 많은 조건에서 가시광 영상과 근적외선 영상의 합성을 통해 사물의 가장자리의 정확한 판단에 유용하게 쓰일 수 있다[1]-[5].

대표적으로 Vanmali가 제안한 가시광 및 근적외선 영상 합성 알고리즘은 국부 대비와 국부 엔트로피 및 가시성을 측정하여 가중치 맵을 만들어 영상을 합성한 후 색상 및 선명도 보정의 과정을 거쳐 결과 영상을 합성하였다[2]. 그러나 합성 시 근적외선 영상의 세부정보를 잘 전달하지 못하고 과도한 색 보상과 경계 강조 필터가 정보를 부자연스럽게 왜곡하는 문제가 있다[6].

본 논문에서 휘도 포화 검출을 위해 경계 보존 특성을 가진 저주파 통과 필터 중 결합형 양방향 필터를 이용한다. 경계 보존 특성을 가진 저주파 통과 필터인 양방향 필터는 성능이 우수하여 많은 분야에서 이용된다. 양방향 필터는 인접 화소와의 거리차이, 강도차이에 대해 각각에 대한 두 개의 가우시안(Gaussian) 함수를 사용한다[7]. 양방향 필터 B는 다음 식과 같이 구해진다.

여기서 I(i, j)는 입력 영상, hw는 커널의 크기, g_r은 인접 화소와의 색상 차에 의해 블러 가중치를 조절하는 경계 보존 목적의 가우시안 함수, g_d는 공간 영역에서 인접 화소와의 거리 차에 따라 블러 가중치를 조절하는 가우시안 함수를 의미한다. 이 때 가우시안 함수 g_r, g_d 은 각각 표준 편차 σ_r, σ_d에 의해 그 너비가 결정된다. W_p는 정규화 항을 의미한다.

그러나 양방향 필터는 단일 영상을 이용한다는 점에서 디노이징(Denoising)에 한계를 보여 Eisemann과 Petschnigg 등은 신호 대 잡음 비(SNR)에 강한 플래시(Flash) 영상을 추가적으로 이용하여 기존 2개의 가우시안 함수에 추가적으로 인접 화소와의 변위 차에 대한 항을 적용하는 결합형 양방향 필터를 제안하였다[8]-[10]. 이러한 결합형 양방향 필터는 2개의 영상을 입력받아 상대적으로 경계 정보가 잘 보존된 영상의 경계 정보를 이용하여 나머지 영상의 블러링 가중치를 조절하여 단일 영상에서 적용하는 양방향 필터에 비해 더 경계가 잘 보존된 영상을 취득하기 위해 사용된다[11]. 결합형 양방향 필터 JB는 다음 식과 같이 구해진다.

여기서 인접 화소간의 색상 차에 따라 블러 가중치를 조절하는 항 g_r(∥F(i + x,j + y) - F(i,y)∥)이 양방향 필터와 다르게 영상 I의 강도 차이 대신에 영상 F의 강도 차이를 이용한다. 영상 F는 상대적으로 경계 정보가 잘 보존된 영상을 사용한다.

본 논문에서 제안하는 가시광 및 근적외선 영상 합성 알고리즘을 그림 2에 나타내었다. 먼저 두 입력영상에서 LAB 색 공간 변환(Color space conversion)을 통해 합성 대상이 되는 휘도 성분을 분리한다. LAB 색 공간의 영상은 색차 채널과 휘도(Luminance) 채널이 분리되어 있어 영상의 색 정보와 휘도 정보를 독립적으로 처리할 수 있다는 장점이 있다. 다음 두 영상을 기저층과 세부층으로 분해하기 위하여 양방향 필터를 적용한다. 양방향 필터는 강한 경계 성분을 보존하고 세부 정보를 블러링(Blurring)하여 기저층 영상을 얻는다. 또한, 결과 영상과 휘도 채널 영상과의 차를 통해 세부층을 획득한다[12](그림 3).

Fig. 2. 
Flowchart of proposed algorithm

Fig. 3. 
Image decomposition by the bilateral filter

양방향 필터를 이용한 영상 분해는 다음과 같다.

여기서 L_B는 LAB 색 공간 휘도 영상 L에 양방향 필터를 적용시켜 구한 기저층 영상이고 L_D는 휘도 영상과 기저층 영상으로부터 구한 세부층 영상이다.

분리된 가시광 영상의 기저층과 근적외선 영상의 기저층은 적외선 자연광 및 보조광 특성에 따라 다른 가중치 맵을 형성하여 합성된다. 주간 영상의 경우 근적외선 영상에서 IR 자연광에 의한 광침투 및 확산 현상이 원거리 지역, 안개 속이나 그늘진 영역 등에서 가시광 영상에 비해 큰 가시성이 확보된다. 반면에 야간의 경우 광량 부족을 보완하기 위해 IR 보조광을 사용하게 되며 야간 근적외선 영상에서 원거리 IR 침투 현상은 미약하며 IR 플래시에 의해 근거리 휘도 포화 현상이 상대적으로 강하게 나타난다.

기저층 합성의 주된 목적은 가시광 영상과 근적외선 영상의 합성 비 조절을 통한 로컬 백그라운드 톤 압축(Local background tone compression)에 있다. 이는 디스플레이의 제한된 휘도 범위 안에서 기저층의 국부 톤 범위를 압축하여 세부층의 표현 성능을 향상시키고 선명도를 개선할 수 있다. 따라서 시인성을 저해하는 역광, 그늘 등의 저휘도 영역에서는 휘도 값이 상대적으로 큰 근적외선 영상의 합성 비율을 증가 시키고 야간 보조광에 의한 전방 포화 영역 같은 고휘도 영역에 대해서는 상대적으로 휘도 값이 작은 가시광 영상의 합성 비율을 증가 시켜야 한다.

그림 4(a)와 같이 왼쪽 가시광 휘도 영상은 평균적으로 낮은 레벨의 음영정보를 가지고 있고 오른쪽 근적외선 휘도 영상은 확장된 대역 성분으로 인해 평균적으로 밝고 포화 영역이 많이 발생된다. 이러한 낮은 음영 및 포화 영역에 대해 영상 합성 비를 조절해야한다. 강한 경계 성분에 따라 국부 영역을 나누고 세부 정보들이 제거된 합성 맵으로부터 톤을 압축하기 위해 경계 보존(Edge preserving) 특성을 가진 양방향 필터를 이용하였다. 그림 4(b)는 물체의 강한 경계를 보존하기 위해 경계 보존 필터인 양방향 필터를 이용한 양방향 필터 맵을 가시화 한 영상이고 그림 4(c)는 양방향 필터를 이용한 기저층 합성 결과를 나타낸다. 각 합성 맵에 사용된 양방향 필터 및 근적외선 영상의 경계 정보로 블러시킨 VIS-IR 결합 양방향 필터의 구성식은 다음과 같다.

Fig. 4. 
Comparison of results based on the bilateral filter map and the luminance saturation region map, (a) Visible light and near-infrared intensity image, (b) Bilateral filter map, (c) Base layer synthesis result with the bilateral filter map, (d) Joint bilateral filter map, (e) Base layer synthesis result with the joint bilateral filter map

여기서 MAP_B는 양방향 필터 맵이며 식 (1)에서 입력 영상 I 에 가시광 휘도 영상 L_VIS를 대입하여 양방향 필터를 적용시킨 영상을 의미한다. 또한 MAP_JB는 식 (2)에서 입력 영상 I 에 가시광 휘도 영상 L_VIS를 그리고 경계 정보를 이용하여 블러 가중치를 결정하는 입력 영상 F 에는 근적외선 휘도 영상 L_IR을 대입하여 구한 결합형 양방향 필터 맵이다. N은 영상을 0~1 사이의 값으로 정규화하기 위한 함수이다.

그러나 물체의 강한 경계를 보존하기 위해 양방향 필터 맵(그림 4(b))을 이용하여 두 영상을 합성하는 경우, 그림 4(c)에서처럼 물체 세부 정보가 합성 맵에 반영되어 왜곡된 결과가 얻어진다. 가시광의 저휘도 영역에서 근적외선 영상의 합성 비율이 높아지게 되는데 제한된 어두운 글자 부분에서 근적외선 영상의 고휘도 영역이 과도하게 합성되었다. 따라서 결합형 양방향 필터를 이용하여 합성 맵 작성 시, 근적외선 영상 합성 비율이 높아지는 가시광 저휘도 영역에서 근적외선 영상의 인접화소 강도가 반영하도록 하였다. 따라서 식 (6)의 근적외선 영상의 경계 정보로 블러시킨 VIS-IR 결합 양방향 필터를 사용한다.

그림 4(d)와 4(e)는 각각 결합형 양방향 필터 맵과 이를 이용한 합성 결과를 보여준다. 합성 맵의 물체 내부 영역이 근적외선 영상의 인접화소 강도에 따라 블러됨이 확인되고 결과 영상에서 국부 톤이 상승되면서 세부 정보는 장점이 잘 합성됨이 확인된다. 그림 5는 가시광 및 근적외선 영상 두 휘도 기저층의 합성 결과와 비교를 위한 가시광 및 근적외선 휘도 기저층의 평균 합성 결과를 보여준다.

Fig. 5. 
Base layer synthesis results, (a) Visible light image base layer, (b) Near infrared image base layer, (c) Average synthesis result of luminance base layers, (d) Proposed base layer synthesis result

다음으로 결합형 양방향 필터와 더불어 주야간에 다르게 나타나는 근적외선 영상의 특성을 반영하여 합성 맵을 추가하였다.

주간의 가시광 영상에서는 그림 6(b)의 나무 중심부와 같이 그늘이나 역광에 의해 시인성을 저해하는 저휘도 영역이 발생하고 이로 인해 경계정보 또한 표현되지 못한다. 반면 주간의 근적외선 영상에서는 그림 6(c)과 같이 나무 그늘 영역에 대해 IR 자연광에 의한 광 침투 및 확산 현상이 발생하여 가시광 영상에 비해 큰 광량을 확보하고 경계정보를 포함하여 가시성이 증대된다. 이러한 주간 근적외선 영상의 특성은 그림 6(d)에서 가시광 및 근적외선의 차 영상을 통해 가시화하였고 IR 침투가 발생한 영역에서 큰 차이가 발생하는 것을 확인할 수 있다.

Fig. 6. 
Color maps of daytime images

야간 가시광 영상에서는 그림 7(b)의 상자 속과 같은 그늘영역에 대해 경계 정보 표현이 미약하며 평균적으로 낮은 레벨의 휘도 값을 가진다. 반면 야간 근적외선 영상 그림 7(c)에서는 IR 보조광을 사용하여 상자 속 광량 부족을 보완하며 상자 속 컬러 차트의 경계 정보 또한 확보하였다. 하지만 자연광과 달리 보조광은 원거리 IR 침투 및 확산 현상이 미약하며 IR 플래시의 전방 투사로 인한 근거리 휘도 포화 현상이 상대적으로 강하게 나타난다.

Fig. 7. 
Color map of nighttime image

이는 보조광을 사용하는 야간 영상에서만의 특성으로 그림 7(d)에서 상자 속과 컵 영역을 비교했을 때 전방 포화 현상이 발생하는 컵 영역에서 휘도의 변화폭이 더 크게 발생하는 것을 통해 확인할 수 있다. 따라서 주간의 가시광 및 근적외선 차 영상은 밝을수록 IR 광 침투 현상을 반영하고 야간의 가시광 및 근적외선 차 영상은 밝을수록 IR 보조광에 의한 전방 휘도 포화 현상을 나타낸다. 이러한 주야간 영상의 특성을 고려하여 합성하기 위해 야간에는 IR 깊이(Depth) 보상 맵을, 주간에는 IR 침투(Penetration) 보상 맵을 적용한다.

야간 근적외선 영상은 전방의 IR 보조광을 사용하기 때문에 가시광 영상과 휘도 값의 차이는 카메라에 인접한 물체에서 과포화(Oversaturation) 현상이 발생하고 멀어질수록 차이가 약해지는 깊이 맵의 특징을 보인다. 따라서 근적외선 영상에서 보조광 투사로 인한 전방 포화 영역에서는 경계 정보가 잘 보존되도록 포화가 발생하지 않은 가시광 영상의 합성 비율을 증가시켜야 한다. 이 때 양방향 필터를 적용한 기저층 영상의 차 영상을 이용하여 로컬 톤 매핑(Local tone mapping) 시에 발생할 수 있는 헤일로(Halo) 현상을 최소화한다. 깊이 보상 맵은 다음과 같이 구해진다.

여기서 깊이 보상 맵 MAP_dep는 값이 클수록 근거리 포화영역이 되고 가시광 기저층 비율을 높인다. L_{B_ VIS} 과 L_{B_IR} 는 각각 가시광 영상과 근적외선 영상의 기저층 영상이다.

주간 영상에서는 보조광을 사용하는 야간 영상과 달리 근적외선 자연광에 의한 광 확산 및 침투 현상이 발생한다. 야간 영상과 달리 원거리 영역의 밝기 레벨은 가시광 영상이 높을 수 있으며, 가시광 및 근적외선 차는 절대 값을 사용한다. 차이 값이 큰 영역은 IR 광 침투에 의해 시인성이 개선될 수 있는 영역이므로 경계 정보 확보를 위해 근적외선 영상의 합성 가중치를 높여야 한다. 다만 주간 영상의 경우 가시광 영상의 밝은 영역의 평균 휘도가 야간 영상보다 높기 때문에 가시광 영상의 고휘도 영역에서 합성 포화 현상이 발생될 수 있다. 따라서 주간 기저층 합성은 가시광 및 근적외선 차 영상에서 차이 값이 클수록 근적외선 기저층 영상의 비율을 높이되 이는 가시광 영상의 저휘도 영역에 대해 제한적으로 적용하여야 한다. 따라서 다음과 같이 침투 보상 맵이 구해진다.

여기서 침투 보상 맵 MAP_pen값이 클수록 근적외선 침투 보상 영역이 되며 근적외선 영상의 기저층 비율을 높인다. obs(L_{B_ VIS}(i,j) - L_{B_IR}(i,j))항과 (1 - N[L_{B_ VIS}(i,j)])항은 각각 IR 광 침투 영역과 가시광 영상의 저휘도 영역을 나타낸다. 2가지 영역 수치를 AND 조건으로 하여 근적외선 영상의 비율을 높인다.

앞에서 구한 VIS-IR 결합 양방향 필터와 주야간 영상에 따른 추가 보상 맵을 이용하여 다음과 같이 최종적인 기저층 합성 맵과 합성 영상을 얻는다.

여기서 기저층 합성 맵 MAP_base는 값이 클수록 가시광 기저층 비율이 높다. L_base는 휘도 기저층 합성 결과 영상이고 위에서 생성한 주간과 야간 영상의 기저층을 기저층 합성 맵을 가중치로 알파 블랜딩(Alpha blending) 방법을 이용하여 합성한다.

세부층 합성의 주된 목표는 가시광 영상과 근적외선 영상의 활동도에 따라 경계 정보를 최대한 포함하여 합성하는 것이다. 가시광 영상은 원거리 지역, 안개 속이나 그늘진 영역 등에서 경계 정보가 소실되고 근적외선 영상에서는 보조광에 의한 휘도 포화 영역이나 근적외선이 통과하지 못하는 수면 아래의 경계 정보들이 표현되지 못한다. 따라서 합성을 위해 가시광과 근적외선 영상의 세부층 활동도를 국부 분산(Local variance)을 통해 계산하고 그 차이에 따라 합성 비율을 조절할 수 있는 분산 맵(Variance map)을 이용한다.

본 논문에서는 영상의 활동도 측정을 위해 연산의 복잡도가 낮은 평균 편이 국부 분산(Mean deviated local variance)을 이용하였다. 평균 편이 국부 분산은 커널의 화소 값 각각을 고려하지 않고 중심 화소 주위의 화소들의 평균값과의 차이를 이용하므로 커널 내의 화소 값의 변화분포를 잘 나타낼 수 있다. 평균 편이 국부 분산은 다음 식과 같이 계산한다.

여기서 V는 평균 편이 국부 분산을, μ는 국부 평균을 나타낸다. η는 커널의 크기를 의미하고 제안 방법에서는 η = 5를 이용하였다.

국부 분산 영상은 각 가시광 및 근적외선 영상의 세부 경계 정보를 담고 있다. 국부 분산의 계산과정에서 휘도 채널의 제곱 항이 포함되기 때문에 분산 값은 0~255²의 값을 가질 수 있다. 이 경우 값의 매우 범위가 넓기 때문에 최소-최대 정규화(Min-max normalization) 방법을 이용하고 분산 값이 작은 경우는 무시될 수 있다. 따라서 스케일(Scale)을 조절하기 위하여 log 함수를 취한다. 그리고 두 분산 영상의 차 영상을 구하여 특정 영역에서 가시광 영상과 근적외선 영상 중 어느 영상이 더 많은 세부 정보를 포함하고 있는지의 판단 지표로 이용한다. 다음 식은 가시광 및 근적외선 영상의 국부 분산 log 스케일 차 영상을 나타낸다.

여기서 Var_diff 는 log 스케일의 국부 분산 차 영상을 나타낸다. V_VIS와 V_IR는 각각 가시광 및 근적외선 영상의 평균 편이 국부 분산 영상이다.

그리고 음수의 값을 포함하는 log 스케일 차 영상을 0~1 사이의 값으로 변환하여 합성 맵으로 사용할 수 있도록 정규화 과정을 거친다. 국부 분산 차 영상(Var_diff)이 음수이면 근적외선 영상의 세부 정보가 상대적으로 많은 영역이고 양수이면 가시광 영상의 세부 정보가 상대적으로 많은 영역을 의미하므로 합성 맵의 값이 클수록 가시광 영상의 세부층 비율을 높이기 위하여 분산 차 영상이 음수일 때는 0~0.5 사이의 값으로 양수일 때는 0.5~1 사이의 값으로 정규화한다.

여기서 MAP_var 는 Var_diff 을 0~1 사이의 값으로 제안 정규화 식을 적용한 분산 맵이다.

최종적인 세부층 합성 맵은 분산 맵에 블러 함수를 적용하여 다음과 같이 생성한다.

여기서 G는 2차원 가우시안 필터를 나타내고 σ_x, σ_y는 각각 x, y 방향의 표준 편차를 의미한다. MAP_detail 은 자연스러운 합성을 위해 MAP_var 에 가우시안 필터를 적용하여 블러시킨 세부층 합성 맵이다. 본 논문에서는 σ_x = σ_y = 7을 적용하였다.

이렇게 생성한 세부층 합성 맵(MAP _var)을 이용하여 다음 식과 같이 합성을 진행한다.

여기서 L_detail 은 휘도 세부층 합성 결과이고 위에서 생성한 주간과 야간 영상의 세부층을 세부층 합성 맵을 가중치로 알파 블랜딩(Alpha blending) 방법을 이용하여 합성한다.

그림 8은 가시광 및 근적외선 영상의 세부층과 최종 세부층 합성 결과를 나타낸다. 컵부분과 박스 부분의 디테일 모두 잘 보존 되었다.

Fig. 8. 
Result of detail layer synthesis, (a) Visible light image detail layer, (b) Near infrared image detail layer (c) Detail layer synthesis result

위의 과정으로 독립적으로 합성한 기저층과 세부층을 합성하여 최종적인 합성 휘도 채널 L_fused 을 다음과 같이 생성한다.

색채 정보는 가시광 영상의 ab 채널을 사용한다. 두 영상의 휘도 채널 합성에 의해서 기존의 가시광 영상의 휘도 채널 L에 변화가 생겨 색 채널 ab와 불균형이 발생하여 색 표현이 부자연스러워진다. 따라서 가시광 영상의 색 채널(a_VIS, b_VIS)에 대해 가시광 영상의 휘도 채널(L_VIS)과 합성 후의 휘도(L_fused)의 비를 이용한 채도 보상이 필요하며 다음과 같이 채도 보상 함수를 계산한다.

여기서 CC는 채도 보상비이고 가시광 영상과 휘도 합성 결과의 변화 비를 통해서 휘도 값의 변화폭에 따라 채도 보상을 달리한다. 이 때 분모에 0.001을 더해주어 CC 보상 이득이 발산하는 것을 방지한다. 또한 기저층 합성 맵을 통해 블랜딩 과정을 거쳐 영상의 경계 부분에서 과도한 채도 보상이 일어나는 것을 방지한다. γ는 사용자 제어 값으로 본 논문에서는 0.5로 적용하였다.

그리고 식 (21)에서 a^ʹ, b^ʹ은 각각 채도가 보상된 색 채널이고 a_VIS, b_VIS는 가시광 영상의 채도 보상 전의 색 채널이다. 기본적으로 a_VIS, b_VIS에 CC를 곱해서 휘도 변조에 대한 채도 보상을 수행한다. 이 때 채도 채널 범위의 중앙값을 0으로 만들기 위해 128을 빼준 후 CC를 곱하여 다시 128을 더하여 중앙값이 128이고 균일하게 분포된 채도 채널을 획득할 수 있다. 이렇게 얻어낸 채도 a^ʹ, b^ʹ와 합성 휘도 L_fused를 이용하여 다시 색공간 변환 과정을 거쳐 최종 합성 영상을 취득한다.