Home

영상의 동적범위(Dynamic range)는 디지털 이미징과 컴퓨터 비전 분야에서 중요한 개념으로서 영상의 가장 어두운 영역과 가장 밝은 영역 사이의 밝기 레벨 차이를 의미한다. 현존하는 디스플레이 기술은 인간 눈의 넓은 동적 범위에 비해 한정된 동적 범위를 가지고 있어, 인간의 시야에 들어온 장면을 완벽하게 재현하는 것에 어려움을 겪고 있다. 이러한 시각적 현실감을 개선하기 위한 연구 방법 중 하나가 HDR(High Dynamic Range) 합성 기법이다[1].

HDR 합성 기법은 여러 다른 노출 수준에서 촬영된 LDR(Low Dynamic Range) 영상들을 효과적으로 합성하여 하나의 HDR 영상을 생성한다. Debevec 등은 각 노출 시간이 다른 LDR 영상들을 사용하여 영상 센서와 빛의 양 사이의 상호작용 법칙(Reciprocity law)을 활용한다. 이후 영상센서의 응답함수를 추정하여 단일 HDR 영상을 생성한다[2].

그러나, 생성된 HDR 영상은 기존의 LDR 디스플레이에서 표현하기 어렵다. 따라서 톤 매핑(Tone mapping) 알고리즘을 이용하여 HDR 영상의 정보를 영상 출력 장치의 동적범위에 맞게 LDR 영상으로 압축해야 한다. 이러한 LDR 디스플레이에 렌더링하기 위한 톤 매핑은 전역적 톤 매핑과 국부적 톤 매핑 알고리즘이 있다. 전역적 톤 매핑 알고리즘은 실시간 처리가 가능하여 속도면에서 좋은 성능을 보여주지만, 극단적으로 넓은 다이나믹 레인지의 영상의 경우에는 한계가 있다. 대표적으로는 Drago Logarithmic 매핑, Ward histogram adjustment 등이 있다. 국부적 톤 매핑은 HVS(Human Visual System)에서 빛의 절대적인 값보다 픽셀간의 주변 빛의 값 사이의 차이를 통해 빛의 세기를 인식하는 특성을 잘 반영한 결과를 보여준다. 그 예시로 iCAM, Retinex 알고리즘 등이 있다.

대표적인 Retinex 알고리즘은 영상재현 시에 HVS에서는 반사된 빛의 분포보다 물체의 반사도에 더 큰 영향을 받는다는 이론을 기반으로 한다. 물체의 반사도만큼 주변의 빛을 반사시켜 우리의 시야에 맺히게 되는 빛을 내보낸다[3]. 각 픽셀에 컨볼루션(Convolution) 마스크를 적용하여 주변 화소와 차이값을 통한 상대적 변화율을 측정한다. Retinex 기반 알고리즘은 단일의 마스크를 사용하는 SSR(Single Scale Retinex)과 영상에 여러 마스크를 적용하여 다중 스케일(Multi scale)로 분해한 각 스케일에서의 결과를 조합하여 사용하는 MSR(Multi Scale Retinex)로 나누어진다[4]. 다양한 공간적 크기의 특징을 고려하여 영상의 더 풍부한 특징을 제공하지만 기존 MSR로 다중스케일의 정보를 통합하여 자연스러운 결과물을 만들어내는 것은 어렵다.

본 논문에서는 MSR을 이용하여 분산값에 따른 다중스케일 영상을 획득하고, 각 스케일들에 Multiscale surround switching map을 적용하여 스케일별 영상의 장점들을 효과적으로 합성한다. 해당 SMap(Switching map)들은 양방향 필터(Bilateral filter)를 적용한 서라운드맵(Surround map)으로 영상의 세부 정보를 살리고 적응적인 시그모이드 함수(Sigmoid function)를 사용하여 스위칭 성능을 향상시킨다.

이러한 다중스케일 SMap을 영상에 적용할 경우 기존의 MSR 기법보다 색감 및 채도 성분이 잘 보존되고 영상 경계 성분의 표현과 강한 경계 영역에서 헤일로 현상(Halo effect)을 줄임으로써 영상의 자연스러움을 증가시키는 결과를 얻을 수 있다.

본 논문에서는 다중스케일 스위칭 맵을 이용한 HDR 영상 합성 알고리즘을 제안한다. 그림 2는 제안한 알고리즘의 플로우차트를 확인 할 수 있다. 먼저 노출도가 다른 저노출, 고노출의 입력영상을 사용한다. 두 영상을 색 공간 변환(CSC, Color Space Conversion)을 통해 CIELAB 채널에서 휘도 성분을 합성 대상으로 사용하기 위해 분리한다. CIELAB 색 공간의 영상은 색채 채널(a,b)과 휘도(L)채널로 분리된다. 영상의 색 정보와 휘도 정보를 독립적으로 처리하여 채도 및 색상 정보를 보존하면서 영상 합성이 가능하다는 장점이 있다[14]. 다음으로 휘도 채널은 다른 스케일의 SSR(Single Scale Retinex)영상으로 변환된다. 톤 압축 영상 생성을 위해 각 입력 영상의 국부 배경 성분을 제거하는데, 배경 성분은 영상에 가우시안 필터(Gaussian filter)를 적용해서 얻을 수 있다[15]. SSR 출력 영상은 다음식으로부터 얻어진다.

Fig. 2. 
Proposed algorithm

여기서 I(x,y) 는 입력 영상이다. G(x,y; v) 는 가우시안 필터이며 v는 필터에 적용되는 분산 값이다. SSR의 출력에 로그를 취함으로써 반사성분의 dynamic range를 압축하는 효과를 가져온다.

가우시안 필터의 분산 값을 다르게 적용하여 서로 다른 특징을 가진 3가지 배경 분산 스케일을 가지는 영상을 생성하며 다음과 같이 표기한다.

본 논문에서 각 스케일별로 분산값 v에 따라 다른 Large, Middle, Small 스케일들을 식 (2)에서 v₁=20, v₂=40, v₃=70 순서대로 SSR₁, SSR₂, SSR₃이라고 지칭한다. 해당 Retinex 알고리즘 적용 과정은 FFT(Fast Fourier Transform)로 주파수 영역에서 진행하여 정보 처리의 속도를 향상 시킨다[16].

고노출과 저노출의 영상에서 각각 원하는 세부영역의 정보를 선택하기 위해 스위칭 맵(SMap)을 생성한다. 해당 SMap은 식 (3)에서처럼 두 영상의 휘도 성분에 양방향 필터(Bilateral filter)를 적용하여 서라운드 맵을 생성한다. 이후 생성된 서라운드 맵에 시그모이드 함수를 적용하여 SMap의 강한 경계 영역 선택 능력을 향상시킨다. 서라운드 맵을 생성할 때, 양방향 필터의 공간 범위(Spatial range)의 값을 조정하여 다른 특성을 가진 다중 스케일 Blur(x,y ; σ_s) 들을 생성한다.

여기서 L_{≤_L}(x,y)은 저노출 영상의 L채널 영상이다. BF(x,y;σ_s)는 양방향 필터 함수이며 σ_s는 양방향 필터의 공간 범위의 값이다. 공간 범위는 양방향 필터에서 좌표공간에 적용되는 가우시안 필터의 분산 값을 의미한다. 주변 픽셀의 강도가 비슷한 경우, 즉 강한 경계 부분이 아닐 때 값이 커질수록 주변 픽셀에 영향을 크게 미친다. Blur_i(x,y ; σ_s)는 σ_s값에 따라 Blur_{1, 2, 3}으로 분류된 3개의 SMap을 생성한다.

식 (4)는 시그모이드 함수이다. α는 시그모이드 함수의 기울기를 조절하는 값이며 커질수록 함수의 기울기가 커진다. Blur_i(x,y ; σ_si)에 Sig(α,x)을 적용하여 SMap_{1, 2, 3}을 생성한다.

SSR₁, SSR₂, SSR₃의 각 장점을 살릴 수 있는 스케일별 SMap들을 영상에 각각 적용한다. 저노출 영상에는 다중스케일 SMap_{1, 2, 3}을, 고노출 영상에는 그와 반대되는 영역을 선택하도록 ∈v_SMap_{1, 2, 3} 을 적용한다. 식 (6)에서 식 (8)을 통해 각 저노출(LE), 고노출(HE) SSR 영상에 대해 SMap이 적용된 선택영상이 생성된다.

식 (7), (8)에서 노출도에 적합한 SMap들을 SSR출력 영상에 적용해준다. 이후 두 입력 영상의 다중 스케일 영상들을 식 (9)에서 각 스케일별로 저노출 영상과 고노출 영상을 합성한다.

여기서 L_Fused 는 각 스케일들의 영상을 합성한 출력 영상이다.

색 성분 채널에서는 식 (11), (12)와 같이 저노출 영상의 a, b채널에는 SMap₁을 고노출 영상의 a, b채널에는 ∈v_SMap₁을 적용한다. 각 스위칭 맵들로 보존하고자 하는 색 성분의 영역들을 선택한다.

생성된 각 L_Fused, a_Fused, b_Fused 채널을 RGB채널로 색 공간 변환 후 합성을 통해 결과 영상을 생성한다.

3.1 저노출 스위칭 맵 생성

저노출(LE, Low-Exposure) 영상과 고노출(HE, High-Exposure) 영상의 경우 가지고 있는 유효한 정보가 다르기 때문에 가중치를 가진 SMap으로 원하는 영역을 매핑하여 노출별 영상의 국부영역을 선택한다. 그림 2의 입력 영상처럼 LE 영상에서 유효한 정보가 많은 창틀 안의 실외 영역을 선택하기 위해 SMap을 적용하고, HE 영상에서 정보가 포화되지 않은 실내 영역을 선택하기 위해 SMap의 반전 영상을 적용한다. 이때, 사용되는 SMap은 LE, HE 영상의 휘도 채널에 양방향 필터를 적용하여 블러된(Blurred) HE, LE 서라운드 맵을 생성한다.

그림 3(a)와 같이 블러된 LE 영상에서는 어두운 배경 영역의 구분이 명확히 되고 상대 노출의 디테일 영역의 선택 특성이 뛰어나다. 다만, 밝은 포화 부분의 디테일 영역의 블러링이 잘 이루어지지 않을 경우 부분적인 영역의 low level 포화레벨의 간섭으로 유효하지 않은 HE 영상의 정보가 선택 될 수 있다.

Fig. 3. 
Blurred LE, HE images for SMap: (a) Blurred LE image and (b) Blurred HE image

반면에 그림 3(b)는 HE 영상의 밝은 배경의 포화영역에서 플레어 현상과 빛 번짐으로 인해 경계 영역이 뚜렷하게 구분되지 않는 블러링 현상이 일어난다.

따라서 SMap을 생성할 때, 각 블러된 HE 영상과 LE 영상을 합성하여 생성된 최종 SMap을 SSR가 적용된 각 스케일 영상에 매핑하면 포화 영역에서 LE 영상의 유효한 정보가 선택되지 않고 HE 영상의 포화레벨의 간섭으로 유효하지 않은 정보가 선택된다. 따라서, 본 논문에서는 각 HE, LE 영상의 비포화 영역의 효과적인 선택(Selection)과 합성(Fusion)을 위해 블러된 LE 영상만을 활용하여 경계 성능이 개선된 합성 스위칭 맵을 생성하였다.

3.2 다중 스케일 서라운드 스위칭 맵 생성

SSR 알고리즘을 적용할 때, LE, HE 입력영상에 적용된 가우시안 필터의 분산값을 다르게 조정하면 각 스케일별로 반사성분의 다른 특징이 존재한다. 큰 스케일에서는 넓게 블러링(Wide blurring)된 배경성분이 제거된다. 그림 4(a)와 같이 노이즈가 감소하지만 세부 성분이 부드럽게 처리되며 전역 톤 압축이 된다.

Fig. 4. 
Multiscale High Exposure SSR images with different variance values: (a) Large scale image and (b) Small scale image

작은 스케일에서는 좁게 블러링(Narrow blurring)된 필터를 적용한 배경성분을 제거한다. 그 결과 그림 4(b)와 같이 세부사항들이 더욱 보존되지만 노이즈가 부각되는 부분들이 존재한다.

그림 5와 그림 6은 각각 양방향 필터의 공간 범위 변화에 따른 SMap과 각 SMap이 적용된 SSR L채널 영상을 보여준다. 양방향 필터의 Intensity range는 타겟 픽셀과 주변 픽셀과의 강도 유사도에 따라 가중치를 부여한다. 그림 5에서 공간 범위가 작은 스케일에서는 그림 5(a)처럼 하이라이트 영역의 블러링이 부족하여 포화영역 레벨의 간섭이 심해지고 합성 영상에서 detail loss가 발생한다. 반면 큰 스케일에서는 그림 5(c)처럼 블러 효과가 좋지만 스위칭이 필요한 강한 경계부분에서까지 블러링 현상이 동일하게 발생하여 헤일로 현상을 초래한다. 그림 6은 양방향 필터의 Intensity range는 100, 시그모이드 함수의 slope를 10으로 설정하였을 때의 그림 5의 각 SMap이 적용된 SSR L채널 영상결과를 보여준다. 결과에서 그림 6(a)처럼 공간 범위가 작은 영상에 세부 정보 손실이 나타나고, 그림 6(c)처럼 공간 범위가 큰 SMap을 적용한 영상에서는 헤일로 현상이 더 심하게 나타난다.

Fig. 5. 
SMap images by spatial range: (a) Spatial range 20, (b) Spatial range 40 (c) Spatial range 70

Fig. 6. 
SSR images with multi-scale SMap: (a) Spatial range 20, (b) Spatial range 40 (c) Spatial range 70

본 논문에서는 이러한 공간 범위에 따른 SMap의 특성을 반영하여 Small scale, Middle scale, 및 Large scale 영상에 대해 공간 범위의 값을 각각 20, 40, 70으로 적용하였다.

제안 방법의 다중 노출 영상 합성 성능 검증을 위해 기존의 MSR[17], EF[18], FMMR[19], DCT-based[20], GRW[21]의 방법들과 비교 평가 실험을 진행하였다.

그림 7은 입력영상 그림 7(a), (b)에 대한 제안방법과 기존의 합성방법을 적용한 비교영상들이다. 위 그림 7(c)에서 SMap없이 L채널에 대해서는 기존 MSR 알고리즘을 적용하고 색상채널에서는 LE, HE영상의 색성분을 단순 합성하여 나온 결과이다.

Fig. 7. 
Comparisons of the results of Smap application and other methods: (a) Low exposure, (b) High exposure, (c) Conventional MSR, (d) EF (e) FMMR (f) DCT-based (g) GRW (h) Proposed method

그림 7(d) EF의 결과에는 밝은 부분의 채도가 더 좋아 보이지만 어두운 곳에서의 세부사항들이 식별하기 어렵다. 그림 7(e) FMMR의 결과에서는 로컬 명암대비, 밝기, 색상 등 영상의 특징을 고려하여 가중치를 추정한다. 다만, 헤일로 현상 및 노이즈가 심하다. 그림 7(f) DCT-based 방법의 결과는 영상이 자연스럽게 나오지만 어두운부분에서의 세부정보가 잘 드러나지 않는다. 그림 7(g) GRW방법의 결과는 헤일로 현상이 심하며 밝은 부분에서의 채도가 낮아진다. 그림 7(h)에서는 제안된 방법을 사용하였으며 다른 방법들에 비해 어두운 부분의 세부 정보를 잘 살리고 헤일로 효과가 적게 나타나 영상의 자연스러움이 증가한다.

그림 8(a)에서는 입력 영상의 HE 영상에서 노출의 부족으로 인해 다른 방법들은 전반적으로 어두운 실내가 잘 보이지 않는다. 그림 8(g)의 제안방법의 결과 영상은 SSR로 톤매핑을 이용한 합성이기 때문에 확연히 어두운 실내 부분의 세부정보 및 색채가 잘 드러난다.

Fig. 8. 
Comparisons of LE and HE image fusion methods: (a) Left: low exposure, Right: high exposure, (b) Conventional MSR, (c) EF, (d) FMMR, (e) GRW, (f) DCT-based, (g) Proposed method

그림 9(a) 입력영상에서 어두운 처마 부분과 밝은 나무 영역을 잘라내 확대하였다. 해당 영역들에 대해 그림 9(b)의 기존의 MSR과 그림 9(e)의 GRW 방법의 결과 영상들은 나무의 색정보를 보존하지 못하는 것을 볼 수 있다. 그림 9의 EF, FMMR, DCT-based 방법의 결과 영상에서는 나무의 색채가 잘 보이지만 세부 정보가 손실되는 부분이 있고 처마부분에서 경계 정보가 잘 드러나지 않는다. 반면에 제안방법의 결과 영상에서는 처마부분의 경계부분에 대한 세부정보가 명확히 보이고 나무 영역의 디테일 또한 잘 표현돼있다.

Fig. 9. 
Comparisons of LE and HE image fusion methods: (a) Left: low exposure, Right: high exposure, (b) Conventional MSR, (c) EF, (d) FMMR, (e) GRW, (f) DCT-based, (g) Proposed method

그림 10에서는 실내와 실외의 입력영상을 통해 합성하였으며 컬러 체커(Color checker)와 회색 계조 패턴이 주요한 부분이다. 그림 10의 EF, FMMR, GRW 및 DCT-based 방법의 결과 영상에서보다 그림 10(g)의 제안방법의 결과에선 컬러 체커에서의 색채 및 회색 계조 패턴의 보상이 우수한 것을 확인할 수 있다.

Fig. 10. 
Comparisons of LE and HE image fusion methods: (a) Left: low exposure, Right: high exposure, (b) Conventional MSR, (c) EF, (d) FMMR, (e) GRW, (f) DCT-based, (g) Proposed method

본 논문에서 제안한 방법은 특징이 다른 여러 SMap들을 생성하고 스케일별 영상에 각각 적용하여 합성한다. 따라서 전반적으로 영상의 노이즈와 헤일로 현상이 줄어들고 색상 보존 및 어두운 영역의 세부 정보의 보존이 개선된다.

본 논문에서는 다중 스케일 스위칭 맵을 이용한 다중 노출 영상 합성으로 HDR 영상을 생성하는 기법을 제안한다. 제안하는 방법에서는 분산 값에 따라 SSR이 적용된 다중 스케일의 각 특징에 맞는 적절한 스위칭 맵을 적용한다. 각 스케일들은 영상의 세부정보는 유지하지만 노이즈가 있거나, 자연스럽지만 강한 헤일로가 존재하는 장단점이 있다. 선별되는 SMap들은 이러한 스케일 별 영상의 특징 중 장점 부분을 잘 합성한다. SMap은 스케일의 특성에 맞게 양방향 필터와 시그모이드 함수의 매개변수 값을 조정하여 경계 선택 능력이 향상되게 만든다. 실험 결과는 제안된 방법이 기존 모델보다 성능이 우수하다는 것을 보여준다. 향후 작업은 맵 스위칭 성능을 향상시켜 다중 노출 영상을 합성하였을 때 좀 더 나은 HDR 영상을 생성하는 것을 목표로 한다.