Home

사람의 눈은 조도의 변화와 차이가 큰 환경에서도 주변 환경에 적응하여 일정 시간이 지나면, 물체의 색상을 구별할 수 있으나, 카메라의 이미지 센서는 이러한 환경 적응 성능에 제약이 있다. 레티넥스 기법은 이러한 사람의 시각 특성을 반영한 알고리즘으로 조명 환경에 변화가 있더라도 색상 정보를 일정하게 유지하면서 다이내믹 레인지를 압축할 수 있다. 단일 스케일 레티넥스(SSR, Single Scale Retinex)는 식 (1)-(3)으로 나타낼 수 있다[8].

여기서 I는 입력 영상이고, i는 분리된 채널을 나타낸다. R_SSR,i(x,y)는 채널 i의 레티넥스 결과, F(x,y)는 가우시안 함수를 나타낸다. 그리고 ∗기호는 컨볼루션 연산자이고, K는 정규화계수로 가우시안 함수의 최댓값을 1로 만들어준다. σ는 영상의 블러를 조절하는 표준 편차이다. σ의 크기가 클수록 영상의 노이즈 제거에는 좋으나 디테일이 떨어지고, σ의 크기가 작을수록 디테일 향상 및 다이내믹 레인지 압축에는 좋지만 영상의 노이즈 증가 및 부자연스러운 결과가 나타난다.

다중 스케일 레티넥스는 각각의 단일 스케일 레티넥스 결과들에 가중치를 적용하여 구할 수 있다[9]. 낮은 스케일(Low-scale)은 디테일 면에서, 높은 스케일(High-scale)은 색의 균일 및 노이즈 면에서 좋은 결과를 제공한다. 중간 스케일(Medium-scale)은 결합하기 위한 연결 역할을 하게 된다. 이러한 각 스케일 결합함으로써 경계 부분을 유지하면서도 노이즈 제거가 가능하며 다이내믹 레인지가 압축된 영상을 얻을 수 있다. 식 (4)는 다중 스케일 레티넥스를 나타낸다.

여기서 N은 사용된 스케일의 수를 나타내며 F_n은 n번째의 가우시안 함수를 나타낸다.

RSR은 경로적 레티넥스를 개선한 방식이다[5]. 랜덤 스프레이 레티넥스는 경로적 레티넥스 접근 방식의 한계점인 계산량이 많고, 경로에서 가까울수록 의존성이 크고, 노이즈가 큰 문제점을 해결하기 위해 샘플링 접근 방식으로 구현했다. 즉, 경로를 랜덤 스프레이로 구현한 응용 방법이다. 이미지 각 채널의 각각의 최종 픽셀값을 구할 때, 그 픽셀 경로상의 모든 값을 사용하는 것이 아니라, 경로상의 초기값 및 최대값의 비로 최종값을 나타낸다. 이때, 경로적 레티넥스에서는 경로에서, 랜덤 스프레이 레티넥스에서는 스프레이에서 적용되는 차이가 있다.

여기서 i는 선택된 픽셀이고, c는 픽셀 채널, I_c는 채널 c에 대한 원래 픽셀 명도, x_Hi는 픽셀 i주변 스프레이 중 명도가 가장 높은 픽셀이다.

랜덤 스프레이 레티넥스는 스프레이의 반지름인 R와 방사상의 밀도 함수인 f, 스프레이의 수인 N과 스프레이당 픽셀의 수인 n을 사용한다. 우선, R은 픽셀에 대한 주변 색상에 대한 정보를 얻기에 충분한 원의 반경을 의미하는 데, 영상의 대각선의 길이를 나타낸다. f는 임의의 픽셀에 대해 스프레이 픽셀로 무작위로 선택되도록 하는 밀도 함수로, 이렇게 얻은 스프레이 픽셀 분포를 통해 적절한 색과 적은 계산량을 구현할 수 있다. 픽셀 i를 (i_x,i_y)로 나타내고, 식 (6), (7)에서처럼 상응되는 스프레이의 각 픽셀을 j로 나타냈다. 스프레이는 방사형으로 나타나므로 ρ ∼ U(0,R), θ ∼ U(0,2π)이다.

여기서 ρ는 기준 픽셀과 스프레이 픽셀의 거리, θ는 기준 픽셀과 스프레이 픽셀의 각도를 나타낸다. 그리고 N은 스프레이의 수로, N이 높을수록 영상의 노이즈가 감소한다. n은 스프레이 당 픽셀의 수로, 스프레이 영역에 얼마나 많은 정보가 압축되었는지를 나타낸다.

실행 시간 감소와 결과 이미지 품질 향상으로 위해 개선된 LRSR은 식 (8)에서처럼 입력 영상과 서라운드 영상에 각각 평균 커널을 통해 블러 처리를 하여 노이즈를 감소시킬 수 있다[10]. 이후, 식 (9) 결과에 평균 커널을 반복 처리하여 더욱더 노이즈를 제거하여 식 (10)에서처럼 결과 픽셀 값을 얻을 수 있다.

여기서 k₁과 k₂는 평균 커널이고, O_c는 채널의 최종 결과를 나타낸다.

그림 1은 LRSR를 전체적으로 정리한 알고리즘이다.

Fig. 1. 
Pseudo code of LRSR

랜덤 스프레이 레티넥스에서는 서라운드 영상 블러를 위해 적분영상을 사용한다. 적분 영상이란 이전 모든 픽셀의 합을 해당 좌표에 저장한 영상이다[11]. 식 (11)은 일반 영상으로 적분 영상을 생성하는 식이다.

여기서 I_out은 적분 영상을, I_org는 원본 영상, (x,y)는 영상 픽셀의 좌표를 나타낸다.

적분 영상의 장점은 특정 영역의 픽셀 값의 총합을 영역의 크기와 무관하게 같은 연산량으로 빠르게 구할 수 있다는 점이다. 원래 특정 영역의 픽셀 값의 합을 구하려면 영역이 넓어질수록 O(n²)로 복잡도가 증가한다. 반면, 적분 영상을 한 번만 생성해 놓으면 그 영상에 대해 특정 영역의 픽셀 값의 합을 항상 동일한 복잡도 O(1)로 구할 수 있다. 따라서 적분 영상은 하나의 영상에 대해 여러 영역의 픽셀 값의 누적 값을 여러 번 구할 때 효과적이다. 식 (12), (13)은 적분 영상의 원리로 원본 영상의 특정 영역의 픽셀 값의 총합을 항상 적분 영상의 4개 픽셀에 대한 연산만으로 빠르게 구할 수 있음을 보여준다. 4개 픽셀 값의 합과 차를 통해 연산함으로써 계산 시간이 일정하게 유지되며 시스템의 균일한 응답 시간에 효과적이다. 그림 2는 적분 영상의 원리를 보여준다.

Fig. 2. 
Integral image processing, (a) Principle of integral image, (b) Original image, (c) Integral image

여기서 O_block는 특정 영역의 누적값, x₁,y₁,x₂,y₂는 특정 영역의 해당 좌표값이다.

랜덤 스프레이 레티넥스에서 사용한 커널은 평균 커널 사이즈로 고정된 상수를 사용한다. 하지만, 고정된 커널 사이즈를 이용하게 되면 경계 부분에서 후광 효과가 나타나게 된다.

기존의 RSR, LRSR 들은 스프레이 수와 랜덤 픽셀 수를 영상의 휘도 특성에 따라 달리 설정해서 사용하였다. 특히 랜덤 픽셀의 수가 작을수록 영상의 국부 경계 부분에서 디테일이 증가하지만, 노이즈는 증가하고, 반대로 픽셀 수가 커지면 노이즈 제거 성능은 좋아지지만 영상 압축 성능이 떨어지고 디테일 표현 면에서 성능이 나빠진다. 본 연구에서는 영상 전반적 표현과 디테일, 노이즈 측면에서 개선된 결과를 얻기 위해 다중 스프레이 스케일 방법을 사용하였다. 다중 스케일 방법을 위해 MSR 구조에 N개의 랜덤 스프레이 레티넥스를 적용하였다.

그림 3은 제안된 알고리즘의 전체 블록도이고 다중 스케일 처리를 통해 L_o가 생성된다. 해당 과정은 식 (14)로 간단히 정의된다.

Fig. 3. 
Block diagram of the proposed algorithm

여기서 N은 사용된 스케일의 수를 나타내고, ω_n은 n번째 사용된 가중치를, SSRSR_n은 n번째 단일 스케일 랜덤 스프레이 레티넥스(SSRSR, Single Scale RSR)이다. 실험에서 N=3, 랜덤 픽셀 수는 각각 10, 50, 250이 사용되었다.

기존의 RSR의 서라운드 영상의 블러 과정에서 적분 커널 사이즈가 클수록 노이즈를 제거가 잘 되고 경계선을 더 흐리게 할 수 있다. 하지만 커널 사이즈가 크면 노이즈 제거 효과는 크지만, 경계 부분에서 디테일 성분이 줄어들고 후광효과가 크게 나타난다. 기존 방법인 라이트 랜덤 스프레이 레티넥스처럼 커널 사이즈를 임의의 고정 값으로 하게 되면 평탄 영역에서 노이즈가 증가하고 경계 부분에 후광효과가 눈에 띄게 나타나는 것을 확인할 수 있다. 따라서 커널 사이즈를 배경 영상의 경계 정보에 따라 적응적으로 조정하면, 평탄영역에서 노이즈를 제거하고 경계 영역에서 후광 효과도 줄일 수 있다. 커널 사이즈를 조정하기 위한 기준 영상 작성을 위해 바이래터럴 필터(Bilateral filter)가 사용되었다. 바이래터럴 필터는 비선형 필터로서 도메인 필터(Domain filter) 및 레인지 필터(Range filter)인 두 개의 가우시안(Gaussian) 필터를 사용하며 화소 사이의 공간적 근접성과 레벨의 차이를 이용한 비선형 필터로서, 바이래터럴 필터가 적용된 화소 레벨 Bc는 식(15)과 같이 구해진다[12]-[14]. 경계 성분을 유지하면서 노이즈를 제거하므로, 경계 주변의 후광 효과가 일어날 가능성을 낮춰 준다.

여기서 c와 s는 각각 기준 화소와 주변 화소의 위치를 나타내고, I는 화소의 레벨을 나타낸다. f()와 g()는 각각 공간 영역 가우시안 함수와 레벨 영역 가우시안 함수를 나타낸다. 그리고 k(c)는 B_c를 정규화하기 위한 함수이다[15].

그림 4에서와 같이 바이래터럴 필터를 적용하여 전체적으로 블러되지 않고 등대와 지붕 부분에서 확인 할 수 있듯이, 강한 경계가 잘 유지됨을 확인할 수 있다.

Fig. 4. 
Comparison before and after appling bilateral filter, (a) Reference image, (b) Result image of Bilateral filter

따라서 강한 경계 주위에서 발생되는 후광현상의 영역 예측을 위해 바이래터럴 영상과 가우시안 블러된 두 영상간의 차영상을 사용한다. 식 (16)에 바이래터럴-가우시안 차영상(DoBG, Difference of Bilateral Gaussian)을 나타내었다. 차영상은 증폭된 후 저 레벨 노이즈 제거를 위해 5에서 255 레벨 범위에 대해 정규화 된다. 이 영상은 적분 커널 사이즈를 경계 적응적으로 조절하기 위한 맵으로 사용된다. 식 (17)은 DoBG를 이용한 적분 커널 조정 함수로서 경계에 가까워지면 블러를 위한 커널 사이즈를 줄이고, 평탄 영역에서 커널 사이즈가 커지게 된다. 경계에서 효과적으로 후광 효과를 제거를 위해 지수함수를 사용하여 후광 영역에서 함수 값이 커널 최소 사이즈(K_min)에 근접되도록 하였다. 그림 5(a)는 바이래터럴-가우시안 DoBG, 5(b)는 DoBG를 이용한 맵 영상을 보여준다.

Fig. 5. 
DoBG related images, (a) DoBG, (b) Mapping image using DoBG

여기서 α는 바이래터럴-가우시안 차영상 증폭 상수이고, round는 5~255 범위 처리, β는 후광 범위 설정을 위한 지수값, K_max, K_min는 k_flex의 최대값과 최소값이다. 각 사용자 파라미터는 시각 실험을 통해 주관적으로 설정되었다.

DoBG를 이용한 적분 커널 적용 시 그림 6에서처럼 경계 주변 영역의 후광 현상이 현격이 제거되고, 평탄 영역(하늘)에서 기존의 고정 커널 값에서 발생되는 노이즈를 효과적으로 제거할 수 있음이 확인된다.

Fig. 6. 
Comparison of result images according to K

그림 7은 DoBG를 이용한 적응적인 적분 커널이 적용된 SARSR의 의사코드를 나타낸다. LRSR의 k₁, k₂ 고정 커널 사이즈에 k_flex가 적용되었다.

Fig. 7. 
Pseudo code of SARSR

디스플레이는 입력 신호에 따른 출력 밝기가 선형적이지 않고, 입력 신호에 1차 비례하지 않는 왜곡된 밝기를 출력한다. 이러한 왜곡에 대해 선형적인 출력 보상을 위한 감마 조정은 불가피한데 이때 시각의 시감 특성을 반영할 필요가 있다. 사람의 눈의 밝기에 대해 감각으로 구별할 수 있는 차이는 밝기의 정량적인 증감이 아닌 비율적인 증감에 의해 결정된다. 실제 사람의 눈은 밝은 영역보다 어두운 영역에서 밝기 차이를 더 민감하게 지각하는 특성을 가진다.

Bartleson-Breneman의 밝기 함수는 복합 영상 자극에 대해 순응 휘도에 따른 시감 밝기의 변화를 정량적으로 표현한다[7]. 인간의 시력은 휘도의 절대 수준이 아닌 휘도의 변화 또는 차이에 영향을 받는다. 그림 8은 배경 휘도에 따른 휘도(cd/m²)-밝기 관계를 보여준다.

Fig. 8. 
Normalized Bartleson-Breneman brightness function as a function of adaptation luminance levels

디스플레이의 영상 휘도 범위 내에서 국부 영상에 대한 시각 순응 휘도 계산은 식 (18), (19)와 같다.

여기서 L_a는 블러 함수를 이용한 배경 순응 영상이고, L_amax는 순응 영상의 최대값이다. L_Dmax는 디스플레이 최대 휘도로 300cd/m²가 설정되었고, L_υ는 디스플레이 상 시각 순응 휘도, L_υmax는 디스플레이 상 시각 순응 휘도의 최대값이다.

다음 디스플레이 순응 휘도에 대해 상대적인 보상 감마의 계산과 적용은 아래의 식 (20) ~ (24)와 같다.

여기서 f_γ는 순응 휘도의 변화에 따른 감마 변화를 모델링한 식이고[16], γ_υ는 디스플레이 상 시각 순응 휘도에 대한 감마, γ_υmax는 최대 순응 휘도에 대한 감마값이다. γ_adap는 시각 순응 휘도에 대한 적응적인 감마이고, p는 영상에 적용되는 γ_adap의 최대값을 설정해 주는 팩터이며 실험에서 0.8로 설정되었다.

그림 9는 국부적인 시각 감마 보상 전과 후의 영상결과를 보여준다. 국부적인 감마 조정을 통하여 어두운 부분이 상대적으로 밝게, 밝은 부분은 상대적으로 어둡게 조정되었다.

Fig. 9. 
Adaptive gamma adjustment comparison

그림 10은 휘도 성분에 대한 제안된 전체적인 처리 과정을 나타낸다. 여기서 1~4는 3.1, 3.2에서 제안된 다중 스케일 랜덤 스프레이 레티넥스를, 5는 3.3의 시각 순응 휘도에 대한 적응적인 감마 보정 과정이다. 6은 영상 전체 밝기 범위 중 낮은 레벨을 제거하고 전체 범위로 확장시키는 과정이다.

Fig. 10. 
Pseudo code of visual gamma adjustment

RGB 색공간은 휘도에 대한 각 채널의 상관관계가 높아서 영상의 톤 처리 시 왜곡된 색 정보가 나타날 수 있다. 따라서 본 논문에서는 영상을 Lab 색공간으로 변환하여 처리하였다. L은 밝기인 명도를, a는 적색에서 녹색까지의 색상 정보를, b는 황색에서 청색까지의 색상 정보를 가진다. Lab는 CIE에서 표준화한 국제 규격화된 색체계로 모든 색채는 적색과 녹색, 청색과 황색이 동시에 지각될 수 없다는 반대색설을 기반으로 한 색 개념이다. a와 b는 채널 간 상관성이 낮고 독립적인 색 보상이 가능하다. 따라서 톤 처리는 L 채널에 제한되고 채도와 색상 정보를 가진 a와 b채널은 적절한 보정을 통해 원본 영상의 색상 정보를 유지할 수 있도록 한다. 채도(Chroma)는 색의 포화도를 나타내며, 식 (25)처럼 (a, b) 점의 거리로 나타낼 수 있다.

그림 11(a)에서 컬러 차트의 기준 색 패치 5개에 대해서 원본 이미지에 대한 노출(EV)을 3, 2, 1, 0.5, -0.5, -1, -2, -3으로 조정하여 각 픽셀에 대한 L값 및 c값을 계산하고, 원본 이미지의 L 변화에 대한 c 변화율을 추세선으로 나타내었다. 그림 11(b)는 L_gain과 c_gain의 변화 관계를 나타낸 그래프이다. 이 결과를 통해 L의 변화비와 동일하게 c가 변화하는 것이 아님을 확인할 수 있다. 즉, L의 변화율에 대해 c의 변화율이 선형적이지 않고 기존 방식처럼 명도 변화 비율로 색 보정을 하면 과도한 색 표현 등 왜곡이 발생할 수 있다. 원색에 가까운 색 보정을 위해서는 L_gain이 1보다 낮은 경우에는 기존보다 보상 비율을 높여야하고, 1보다 클 경우에는 기존보다 보상을 낮게 해야 한다.

Fig. 11. 
Change relationship between L_gain and c_gain

색 보상에 위한 gain CC_gain은 식 (26), 식 (27)과 같이 모델링 되었다.

여기서 α, β는　실험 추세선으로부터 근사적으로 정의된 함수를 통해 도출된 값이다.

그림 12(a)는 L_gain을 이용한 색 보상 결과를, 12(b)는 CC_gain을 이용한 색 보상 결과를 보여준다. 이전의 톤 압축 비율에 1차 비례하는 색 보상의 경우 톤 시프트가 큰 경우 과도한 색 포화도가 보이는 문제점이 있었다. 그러나 영상 결과에서처럼 CC_gain을 사용하면 원래 색을 보존하면서 채도 보상을 안정적으로 할 수 있다.

Fig. 12. 
Comparisons for color correction

그림 13에 색 보상에 대한 알고리즘 부분을 나타냈으며, 1과 2는 색 보상을, 3은 3.3의 적응적인 감마 조정 후 정규화된 영상 L_out과 3.4의 색 보상 결과 a_out, b_out의 합성결과를 나타낸다.

Fig. 13. 
Pseudo code of color correction