Home

HDR(High Dynamic Range) 영상 기법은 실제 육안으로 보는 영상 장면을 기록하기 위해 도입되었으나, 장면의 휘도 다이내믹 레인지(Dynamic Range)는 일반 영상 장치가 수용할 수 있는 휘도 범위 보다 훨씬 크다. 실제 장면에서 HDR 영상은 광범위한 휘도(최대 9log 단위)를 가지며 HDR 영상 기술은 디스플레이의 다이내믹 레인지 범위의 일반적인 출력을 위해 넓은 다이내믹 레인지 영상을 8 비트 영상 포맷으로 톤 압축하기 위해 사용된다[1]-[3].

HDR 톤 맵핑(Tone Mapping)은 HDR 영상을 LDR (Low Dynamic Range)의 디스플레이에 나타내기 위해 영상의 다이내믹 레인지를 압축하는 과정이고, 이때 입력과 출력의 다이내믹 레인지 차이가 매우 크기 때문에 영상의 세부 정보까지 같이 압축될 수 있다. 따라서 일반적으로 세부 정보 보존을 위해 세부 정보를 분리한 후 보존하거나 별도로 개선 처리한다[4]. 따라서 HDR 영상 기법은 세부 영상 정보의 효과적인 보존을 위해 영상의 베이스 계층 및 디테일 계층을 분리하여 처리하는 방법을 사용한다.

대표적인 HDR 영상 기법인 iCAM06 방법은 바이래터럴 필터(Bilateral Filter)를 이용하여 세부 정보를 분리시킨다[5]. iCAM06은 사람의 시각적 특성을 포함하는 대표적인 HDR 렌더링(Rendering) 기술이며 HDR 영상을 일반 RGB 포맷의 영상으로 재생하는데 뛰어난 성능을 나타낸다. iCAM06은 입력 데이터 XYZ를 베이스 계층과 디테일 계층으로 분해하고, 색 적응 및 톤 압축 처리 모듈은 베이스 계층에만 적용하고 디테일 계층은 분리 후 Stevens 효과를 이용하여 개선시킨다. 이러한 처리를 위해 iCAM06은 엣지 구조를 보존하면서 노이즈를 제거하는 고속 바이래터럴 필터(Fast Bilateral Filter)를 사용한다[6]. 그러나 바이래터럴 필터의 불연속 선형 근사(Piecewise Linear Approximation) 방식과 엣지 정지(Edge Stopping) 기능으로 인해 디테일 정보가 축소되고, 결과적으로 렌더링 된 출력 영상의 선명도가 감소된다. 또한, iCAM06에는 베이스, 디테일 영상 분리 시 고속 바이래터럴 필터의 영역 샘플링 계산을 사용함으로 인한 추가적인 선명도 감소 요인이 있다.

본 논문에서는 시각의 공간 주파수 응답 특성을 이용한 효율적인 엣지 보존과 개선을 위한 베이스 계층과 디테일 계층의 분리 기법을 제안한다. 시각은 휘도 레벨에 따라 변화되는 공간 주파수 감도 특성을 가지며, 높은 휘도 레벨일수록 넓은 주파수 대역에 대해 높은 감도를 보인다[7]. 제안한 베이스 및 디테일 영상 분리 방법은 분할된 주파수 영역에서 시각 감도 주파수의 변동을 반영하여 디테일 계층을 분리하고, 각 휘도별 분리된 계층에 대해 주파수 응답 감도 변동을 적용하였다. 마지막으로 주관 평가를 통해 기존의 Stevens 개선 방법 및 전역 디테일 보상 방법과 비교하여 제안 방법이 우수함을 확인하였다. 본문에서 2장은 베이스 및 세부 계층의 HDR 영상 분해 기법을 설명하고, 3장은 시각의 공간 주파수 응답 특성을, 4장은 제안하는 HDR 영상 분해 기법을, 5장은 제안 방법에 대한 실험 결과 및 분석, 그리고 6장은 결론 내용을 다룬다.

iCAM06 모델은 HDR 영상 톤 맵핑을 위해 현색 모델(Color Appearance Model)을 수정한 영상 현색 모델(Image Appearance Model)이다. 표준 현색 모델인 CIECAM02에 정의되어 있는 색 순응 모델과 시각 세포의 비선형 반응 함수를 사용하고 있다[8, 9].

영상 분해 방법은 일반적으로 경계 보존 및 향상을 위해 국부 톤 매핑 방법에 사용되는데, 이는 전역 다이내믹 레인지가 크게 압축되면 디테일 정보가 줄어드는 것을 방지하기 위함이다[10][11].

그림 1에 나타낸 HDR 영상의 베이스 및 디테일 계층 분리 과정에서, iCAM06은 영상의 색공간을 sRGB에서 CIEXYZ로 변환한 후 바이래터럴 필터를 통해 영상의 저역 성분인 베이스 영상을 만들고 원영상과 차이를 통해 디테일 영상을 분리한다. 다음 베이스 영상에만 색 순응 모델과 시세포의 비선형 반응 함수를 이용한 톤 맵핑을 적용한다. 이때 디테일 영상은 개선과정을 거쳐 톤 압축 처리된 베이스 영상과 다시 결합된다. 디테일 영상 개선은 평균 휘도가 상승함에 따라 시각적인 국부 명암대비도 상승하는 Stevens 효과를 적용한다[9].

Fig. 1.  
Procedure for HDR image’s base-detail layer decomposition

Fig. 2.  
Pseudo code of fast bilateral filter

Stevens에 의해 제안된 밝기 함수에 따르면, 사람의 시력은 평균 휘도가 증가함에 따라 주변 휘도에 대한 상대적인 밝기의 변화에 좀 더 민감해진다.

iCAM06의 세부 계층 분리는 바이래터럴 필터를 통해 이루어진다. 바이래터럴 필터는 화소 사이의 공간적 근접성과 레벨의 차이를 이용한 비선형 필터로서, 바이래터럴 필터가 적용된 화소 레벨 B_c는 다음과 같다.

여기서 c와 s는 각각 기준 화소와 주변 화소의 위치를 나타내고, I는 화소의 레벨을 나타낸다. f(•)와 g(•)는 각각 공간 영역 가우시안(Gaussian) 함수와 레벨 영역 가우시안 함수를 나타낸다. 그리고 k(c)는 B_c를 정규화하기 위해 나누어 주었다[6].

이때 계산의 복잡성으로 인한 과도한 연산 시간을 줄이기 위해 고속 바이래터럴 필터를 적용한다. 고속 바이래터럴 필터는 다중화된 휘도 영역에 대해 불연속 선형 근사 및 부표본화를 사용하여 계산 속도를 향상시킨다. 고속 바이래터럴 필터의 의사 코드는 그림 2와 같다. 코드에서 입력영상 I는 각 XYZ 채널의 로그 이미지를 의미하고, NB_SEGMENTS는 바이래터럴 필터의 불연속 선형 근사에 대한 자극의 간격을 결정한다. 연산자 “⨂”는 컨볼루션(Convolution) 곱을 나타내며, 표준 편차 σ_r (기본값 σ_r=0.35)은 NB_SEGMENTS의 값을 (max(I)-min(I))/σ_r로 결정한다. 고속 바이래터럴 필터는 공간 도메인에서 부표본화를 시행하고, 로그 영상 처리 및 NB_SEGMENTS 영역에서 선형 근사화 방법을 사용함으로써 원래의 디테일 휘도 정보를 감소시키고 출력 영상의 선명도를 저해하는 결과를 보인다[12].

CSF(Contrast Sensitivity Function)는 인간 시각 시스템의 기본적인 공간 주파수 응답 특성을 나타낸다. 시각은 영상에서 물체를 인식할 때 물체의 경계 혹은 배경과의 차이를 중요하게 인식한다. 휘도 채널에 대해, 시각 실험을 통하여 특정 공간 주파수의 무채색 자극과 정현파 격자에 대한 검출 임계치가 측정되고, 시각 민감도는 검출 임계치의 역수로 표현된다. 휘도 채널에 대한 CSF 모델은 다양한 영상 분석에 널리 적용된다. 대표적으로 Barten의 모델은 정신물리학적 실험을 통해 CSF 특성이 대역 통과 형태를 가지는 것을 보였으며, 실험 데이터에 맞춰 간략화한 함수는 더 계산이 간단하고 경험적으로 적합한 결과를 보인다[13][14]. Barten의 간단한 CSF 모델 식은 다음과 같다.

여기서 f는 자극의 공간 주파수 (시야각 1° 당 주기)이고, w는 시야각의 크기이며, L은 cd/m² 단위의 자극의 평균 휘도이다.

Fig. 3.  
Luminance CSF predicted by Barten’s model

그림 3은 Barten의 CSF 모델에 기반한 다양한 평균 휘도 값과 고정 된 시야각(10°)의 자극에 대한 예측 민감도를 보여준다. 순응 휘도가 상승함에 따라 대역 통과 형태의 모델 함수의 대역폭, 민감 주파수 및 민감도에 대해 변위가 발생함을 확인 할 수 있다. 이는 시각적으로 민감한 디테일 성분의 분리에 있어서 휘도에 따라 자극 영역 필터의 크기를 달리해야 하고, 민감도 변동에 대한 보상도 휘도 영역에 따라 다르게 적용해야 함을 보여준다.

인간의 시각 시스템은 물체의 윤곽을 감지하기 위해 가변 저역 통과 필터 및 대역 통과 필터의 특성을 갖는다. 적응하는 휘도가 낮은 경우, 높은 적응 휘도에서보다 눈의 선명도 감도가 더 낮아진다. iCAM06의 고속 바이래터럴 필터링은 휘도 분할 영역에 대해 선형 근사 및 부표본화를 사용하여 HDR 영상 렌더링을 가속화하지만, 영상의 낮은 적응 휘도 영역에서 선명도 감소 현상을 유발한다.

이러한 이유로 본 연구에서는 시각적 공간 주파수 응답 특성을 사용하는 베이스 및 디테일 계층 분리 필터를 설계하였다. 제안된 분리 필터는 바이래터럴 필터와 Barten의 CSF 모델 파라미터를 응용하여 설정된다. HDR 영상은 넓은 범위의 배경 휘도를 갖기 때문에 베이스와 디테일 성분 분리는 국부 평균 휘도를 기반으로 수행되어야 한다. 휘도에 따른 CSF 관련 파라미터는 휘도 레벨 별로 디테일 성분을 분리하는 데 적용하기 적합하다. 제안된 필터는 고속 바이래터럴 필터의 2차원 이산 푸리에 변환(DFT) 영역에서 공간 영역 가우시안 함수에 CSF 대역 변동 성분을 적용하고, 휘도 분할 영역의 디테일 성분에 대해 민감도 변동 성분을 보상하여 구현된다.

먼저, Barten의 CSF 특성에서 평균 휘도를 매개 변수로 하는 최대 민감도 크기를 수식화 하였다. 휘도 L에 대한 CSF 감도의 최대 값 함수 CSF_max(L)은 다음과 같이 계산된다.

자극치는 국부 순응 휘도의 정의된 범위인 L_min에서 L_max까지의 범위에 대해 NB_SEGMENTS 단계로 선형적으로 분할되어 처리된다. 제안된 휘도 계층별 베이스-디테일 분리 방법의 전체 처리 단계는 아래의 식 (6) ~ (13)과 같다.

영상 I의 n번째 휘도 영역에 대한 L_n 레벨 가중치 영상 I Ln은 L_n 레벨에 대한 엣지 정지 함수 fσr로부터 식 (7)과 같이 구해진다. 다음 I Ln은 2차원 DFT 영역에서의 공간 커널(Kernel) 함수 fσsn에 의해 블러링(Blurring)된다. 이때 고 휘도 레벨에 대한 감도 주파수 밴드의 증대 효과를 고려하기 위해 식 (4)의 b 함수를 이용하였다. CSF 함수에서 감도 대역은 b 값에 반비례하는 특징을 이용하여 식 (8), 식 (9)와 같이 공간 영역 가우시안 함수를 조정한다. 여기서 fσsn의 공간 커널 대역은 L_n과 L_min 조건 사이의 상대적인 대역 비율로 조정된다. 다음으로, 영상 I Ln에서 L_n 레벨의 베이스 성분이 제거 된 디테일 성분은 DFT 영역에서 구해지며, 이때 식 (5)의 CSF 최대 감도 함수를 이용하여 각 L_n 및 L_min에 대한 상대적인 CSF 감도에 따라 식 (11)과 같이 보상된다. 마지막으로 식 (12), 식 (13)에서, 최종 베이스 영상과 디테일 영상이 영상 I와 L_n 사이의 가까운 값으로 선형 보간(Interpolation)을 통해 구성된다. 이는 고속 바이래터럴 필터의 선형 근사를 기반으로 한다. 본 제안 식에서 σ_r은 동일한 NB_SEGMENTS에 대해 고속 바이래터럴 필터의 값과 같고 σ_s는 영상 가로축 크기의 2% 값으로 설정하였다. 또한, 기준 휘도 값으로 최소 국부 순응 값 L_min은 영상의 최대 휘도에 대해 1% 수준으로 설정하였다.(야간 dim 서라운드 조건에서 약 5cd/m²) 함수 f_σ는 표준 편차 σ를 갖는 가우시안 커널을 나타낸다.

본 논문에서 제안한 베이스 및 디테일 영상 분리 모델의 성능을 평가하기 위하여 선예도와 컬러 렌더링을 비교할 수 있는 Snellen 차트, Macbeth 컬러 패턴과 야간 실내 및 실외 장면을 포함한 영상이 실험에 사용되었다. 특히 야간 조명 조건의 영상은 국부 디테일 성분이 작고, 잡음 성분에 쉽게 노출되어 선예도 개선에 어려움이 있다.

그림 4와 그림 5는 HDR 영상의 디테일 렌더링 성능을 평가하기 위해 기존 방법과 제안한 방법에 의한 HDR 영상 결과들을 비교 도시하고 있다. 그림 4(a)는 Stevens 효과를 적용하여 디테일 영상을 개선한 iCAM06 기법의 영상이고, 그림 4(b)는 Stevens 효과 조정에 더하여 식 (5)로부터 영상의 최대 CSF 감도 비를 이용하여 공간 영역에서 디테일 영상을 개선한 영상이다. 마지막으로 그림 4(c)는 제안된 베이스-디테일 분리 모델에 의해 재생된 영상이다. 제안된 모델은 영상의 컬러 패턴, 글자, 모서리와 물체 경계 주변에서 기존 방법보다 민감하게 선예도를 개선함을 쉽게 확인할 수 있다. 빨간색 원으로 표시한 컬러 패턴과 명암대비가 큰 조명 영역에서 세부적인 향상이 보다 명확하게 확인된다. 최대 감도 보상 비율을 맞춘 그림 4(b)와 비교했을 때 오버슈트나 경계 색 왜곡 없이 디테일 성분이 개선됨을 확인 할 수 있다. 화살표로 표시한 부분에서 그림 4(b)의 디테일 영상 전역에 대한 보상 기법은 경계 왜곡, 색 왜곡을 발생시킨다. 색 왜곡은 개선 영상인 그림 4(a)와 비교하여 알 수 있다. 보다 객관적인 경계 개선 효과를 비교하기 위해 그림 4(b)와 4(c) 영상 중 어두운 실내 영상의 스캔 라인 영역에 대해 RGB 채널 별 세부 영역의 잡음 및 명암 차이를 그림 6에서 비교하였다. 제안한 방법은 배경과 물체의 천이 영역에서 급격한 변화를 일으켜 선명도를 높이면서 동시에 어두운 영상 영역에서 잡음을 감소시키는 결과를 보인다.

iCAM06은 베이스-디테일 영상 분리를 위한 고속 바이래터럴 필터의 불연속적인 부표본화 연산으로 인해 영사의 세부 선명도를 감소시키는 경향이 있다. 본 논문에서는 휘도별 CSF 감도 주파수의 변동과 상대적 CSF 민감도 이득을 사용하여 베이스-디테일 영상 분리 및 디테일 영상 보정 기법을 제안하였다. 휘도 별 가중치를 두고 공간영역 필터에서 선명도를 개선하는 기존의 방법과 달리 제안한 방법에서는 주파수 영역에서 휘도 별 가중치를 두어 디테일 영상을 분리함으로써 국부적으로 선명도를 향상시키면서 영상 레이어를 분리할 수 있는 필터 모델을 제시하였다.

Fig. 4.  
Comparisons among the rendered results through base-detail separation for iCAM06: (a) rendered images by Stevens adjust, (b) rendered images by Stevens adjust including maximum CSF gain, and (c) rendered by the proposed base-detail separation

Fig. 5.  
A magnified comparison of Fig. 4(b) and Fig. 4(c)

실험 결과는 제안된 방법을 사용하는 iCAM06이 iCAM06의 기본 Stevens 개선 및 영상 전역 감도 개선을 하는 방법보다 선명도 개선 기능이 우수함을 보여준다.

Fig. 6.  
A comparison of each RGB channel’s noise and contrast for the scan line positions of Fig. 4(b) and Fig. 4(c)

민감도 이득을 강하게 적용한 기존 방법은 물체 경계부분에 컬러 오버슈트를 발생시키고, 저 휘도영역의 잡음을 증폭하는 효과를 보인다. 반면 제안한 방법은 물체와 빛의 가장자리와 같은 급격한 휘도 변화에서 기존의 방법보다 잡음은 감소시키면서 더 첨예한 경계선을 보여준다. 이 연구에 추가하여 세부 계층 분리 및 합성 과정에서 경계 영역의 색 간섭으로 인한 채도 및 색도 오차를 개선하기 위한 연구가 필요하다.