경계 적응적인 배경 적분 기반의 다중 랜덤 스프레이 레티넥스

Ⅰ. 서 론

인간의 시각은 주변 조명 등 시 조건이 달라도 주변 환경의 영향과는 무관하게 주관적으로 지각되는 색이 변동하지 않고 항상 동일한 색으로 색채를 지각하는 색항상성(Color constancy)을 가진다[1]. 또한 사람의 눈의 휘도 다이내믹 레인지(Dynamic range)는 이미지 센서 및 디스플레이 장치에 비해 수용 가능한 휘도 범위가 훨씬 크다. 따라서 넓은 다이내믹 레인지를 가진 영상을 좁은 다이내믹 레인지를 가진 디스플레이에 나타내기 위해 압축하는 톤 매핑 알고리즘이 필요하다[2].

대표적인 톤 매핑 알고리즘인 레티넥스(Retinex) 기법은 제안된 빛의 밝기와 인간 시각의 인지에 관한 모델로서 영상의 밝기, 명도대비와 경계 성분을 향상 시키며, 저조도 영상에서 휘도 조정과 노이즈 개선을 위해 사용된다[3][4]. 이러한 모든 샘플링 구현은 경로적 접근법으로 경로에 영향을 많이 받으며 샘플링 노이즈와 계산량이 크다는 단점이 있다. 개선된 모델로 경로 접근 방식인 레티넥스 알고리즘을 이용한 영상 개선 방법인 랜덤 스프레이로 접근한 랜덤 스프레이 레티넥스(RSR, Random Sprays Retinex) 방법이 있다[5]. 라이트 랜덤 스프레이 레티넥스(LRSR, Light RSR)은 RSR의 적절한 색과 밝기를 개선한 방법이나, 원색을 왜곡하지 않고 보전하는 데 한계가 있고, 휘도 밝기 조정도 필요했다. 기존의 LRSR은 RGB 색 공간을 사용하여 각 채널에서 각각 알고리즘을 수행하고 이로 인해 영상의 색 왜곡 현상이 나타난다[6].

본 논문에서는 다중 스케일을 이용한 노이즈 제거 및 국부적인 디테일 향상을 위한 다중 스케일 랜덤 스프레이 레티넥스를 제안한다. 제안한 톤 처리 방법은 후광 효과 및 노이즈 제거를 위해 적분 영상을 이용한 적응적인 커널 사이즈와 시각 특성을 이용한 적응적인 감마 조정을 적용하였다. 인간의 시각은 배경 휘도에 따라 순응 휘도, 국부 대비 감도에 영향을 받는다[7]. 제안한 시각 특성을 이용한 적응적인 감마 조정은 순응 휘도의 변화에 따른 감마 변화를 적용하였다. 또한, 원색과 채도의 보존을 위해 영상에서 휘도 성분과 색 성분을 완전히 분리하여 병렬 처리가 가능한 색 공간의 도입이 필요해 Lab색 공간을 이용하였다. 마지막으로 주관 평가를 통해 기존의 RSR 방법 및 멀티 스케일의 RSR과 비교하여 제안 방법이 우수함을 확인하였다. 본문에서 2장은 레티넥스 및 적분영상 이론을 설명하고, 3장은 제안하는 다중 스케일 기법과 감마 조정, 색보정을, 4장은 제안 방법에 대한 실험 결과 및 분석, 그리고 5장은 결론 내용을 다룬다.

Ⅱ. 배경 이론

2.2 RSR

RSR은 경로적 레티넥스를 개선한 방식이다[5]. 랜덤 스프레이 레티넥스는 경로적 레티넥스 접근 방식의 한계점인 계산량이 많고, 경로에서 가까울수록 의존성이 크고, 노이즈가 큰 문제점을 해결하기 위해 샘플링 접근 방식으로 구현했다. 즉, 경로를 랜덤 스프레이로 구현한 응용 방법이다. 이미지 각 채널의 각각의 최종 픽셀값을 구할 때, 그 픽셀 경로상의 모든 값을 사용하는 것이 아니라, 경로상의 초기값 및 최대값의 비로 최종값을 나타낸다. 이때, 경로적 레티넥스에서는 경로에서, 랜덤 스프레이 레티넥스에서는 스프레이에서 적용되는 차이가 있다.

$\[ C_c\left(i\right)=I_c\left(x_{H_i}\right) \]$

(5)

여기서 i는 선택된 픽셀이고, c는 픽셀 채널, I_c는 채널 c에 대한 원래 픽셀 명도, x_Hi는 픽셀 i주변 스프레이 중 명도가 가장 높은 픽셀이다.

랜덤 스프레이 레티넥스는 스프레이의 반지름인 R와 방사상의 밀도 함수인 f, 스프레이의 수인 N과 스프레이당 픽셀의 수인 n을 사용한다. 우선, R은 픽셀에 대한 주변 색상에 대한 정보를 얻기에 충분한 원의 반경을 의미하는 데, 영상의 대각선의 길이를 나타낸다. f는 임의의 픽셀에 대해 스프레이 픽셀로 무작위로 선택되도록 하는 밀도 함수로, 이렇게 얻은 스프레이 픽셀 분포를 통해 적절한 색과 적은 계산량을 구현할 수 있다. 픽셀 i를 (i_x,i_y)로 나타내고, 식 (6), (7)에서처럼 상응되는 스프레이의 각 픽셀을 j로 나타냈다. 스프레이는 방사형으로 나타나므로 ρ ∼ U(0,R), θ ∼ U(0,2π)이다.

$\[ j_x=i_x+\rho \cos \left(\theta \right) \]$

(6)

$\[ j_y=i_y+\rho \sin \left(\theta \right) \]$

(7)

여기서 ρ는 기준 픽셀과 스프레이 픽셀의 거리, θ는 기준 픽셀과 스프레이 픽셀의 각도를 나타낸다. 그리고 N은 스프레이의 수로, N이 높을수록 영상의 노이즈가 감소한다. n은 스프레이 당 픽셀의 수로, 스프레이 영역에 얼마나 많은 정보가 압축되었는지를 나타낸다.

실행 시간 감소와 결과 이미지 품질 향상으로 위해 개선된 LRSR은 식 (8)에서처럼 입력 영상과 서라운드 영상에 각각 평균 커널을 통해 블러 처리를 하여 노이즈를 감소시킬 수 있다[10]. 이후, 식 (9) 결과에 평균 커널을 반복 처리하여 더욱더 노이즈를 제거하여 식 (10)에서처럼 결과 픽셀 값을 얻을 수 있다.

$\[ {C^{"}}_{c,k_1}\left(i\right)=\frac{\left(I_c*k_1\right)\left(i\right)}{\left(C_c*k_1\right)\left(i\right)} \]$

(8)

$\[ C_{c,k_1,k_2}^{*}\left(i\right)=\left({C^{"}}_{c,k_1}*k_2\right)\left(i\right) \]$

(9)

$\[ O_c\left(i\right)=\frac{I_c\left(i\right)}{C_{c,k_1,k_2}^{*}\left(i\right)} \]$

(10)

여기서 k₁과 k₂는 평균 커널이고, O_c는 채널의 최종 결과를 나타낸다.

그림 1은 LRSR를 전체적으로 정리한 알고리즘이다.

Fig. 1.

Pseudo code of LRSR

2.3 적분 영상(Integral image)

랜덤 스프레이 레티넥스에서는 서라운드 영상 블러를 위해 적분영상을 사용한다. 적분 영상이란 이전 모든 픽셀의 합을 해당 좌표에 저장한 영상이다[11]. 식 (11)은 일반 영상으로 적분 영상을 생성하는 식이다.

$\[ I_{out}\left(x,y\right)=\sum _{x^{\text{'}}=0}^{x-1}\sum _{y^{\text{'}}=0}^{y-1}{I}_{org}\left(x^{\text{'}},y^{\text{'}}\right) \]$

(11)

여기서 I_out은 적분 영상을, I_org는 원본 영상, (x,y)는 영상 픽셀의 좌표를 나타낸다.

적분 영상의 장점은 특정 영역의 픽셀 값의 총합을 영역의 크기와 무관하게 같은 연산량으로 빠르게 구할 수 있다는 점이다. 원래 특정 영역의 픽셀 값의 합을 구하려면 영역이 넓어질수록 O(n²)로 복잡도가 증가한다. 반면, 적분 영상을 한 번만 생성해 놓으면 그 영상에 대해 특정 영역의 픽셀 값의 합을 항상 동일한 복잡도 O(1)로 구할 수 있다. 따라서 적분 영상은 하나의 영상에 대해 여러 영역의 픽셀 값의 누적 값을 여러 번 구할 때 효과적이다. 식 (12), (13)은 적분 영상의 원리로 원본 영상의 특정 영역의 픽셀 값의 총합을 항상 적분 영상의 4개 픽셀에 대한 연산만으로 빠르게 구할 수 있음을 보여준다. 4개 픽셀 값의 합과 차를 통해 연산함으로써 계산 시간이 일정하게 유지되며 시스템의 균일한 응답 시간에 효과적이다. 그림 2는 적분 영상의 원리를 보여준다.

$\[ \begin{array}{l}D=\left(A+B+C+D\right)\\ -\left(A+C\right)-\left(A+B\right)+A\end{array} \]$

(12)

$\[ \begin{array}{l}{O}_{block}\left(x_1,y_1,x_2,y_2\right)=\sum _{y=y_1}^{y_2}\sum _{x=x_1}^{x_2}{I}_{\mathrm{o}\mathrm{r}g}\left(x,y\right)\\ =I_{out}\left(x_2,y_2\right)-I_{out}\left(x_1,y_2\right)-I_{out}\left(x_2,y_1\right)\\ +I_{out}\left(x_1,y_1\right)\end{array} \]$

(13)

Fig. 2.

Integral image processing, (a) Principle of integral image, (b) Original image, (c) Integral image

여기서 O_block는 특정 영역의 누적값, x₁,y₁,x₂,y₂는 특정 영역의 해당 좌표값이다.

랜덤 스프레이 레티넥스에서 사용한 커널은 평균 커널 사이즈로 고정된 상수를 사용한다. 하지만, 고정된 커널 사이즈를 이용하게 되면 경계 부분에서 후광 효과가 나타나게 된다.

Ⅲ. 제안 방법

3.1 다중 스케일 랜덤 스프레이 레티넥스(MSRSR)

기존의 RSR, LRSR 들은 스프레이 수와 랜덤 픽셀 수를 영상의 휘도 특성에 따라 달리 설정해서 사용하였다. 특히 랜덤 픽셀의 수가 작을수록 영상의 국부 경계 부분에서 디테일이 증가하지만, 노이즈는 증가하고, 반대로 픽셀 수가 커지면 노이즈 제거 성능은 좋아지지만 영상 압축 성능이 떨어지고 디테일 표현 면에서 성능이 나빠진다. 본 연구에서는 영상 전반적 표현과 디테일, 노이즈 측면에서 개선된 결과를 얻기 위해 다중 스프레이 스케일 방법을 사용하였다. 다중 스케일 방법을 위해 MSR 구조에 N개의 랜덤 스프레이 레티넥스를 적용하였다.

그림 3은 제안된 알고리즘의 전체 블록도이고 다중 스케일 처리를 통해 L_o가 생성된다. 해당 과정은 식 (14)로 간단히 정의된다.

$\[ MSRSR=\sum _{n=1}^N{\omega }_{n}SSRS{R}_n \]$

(14)

Fig. 3.

Block diagram of the proposed algorithm

여기서 N은 사용된 스케일의 수를 나타내고, ω_n은 n번째 사용된 가중치를, SSRSR_n은 n번째 단일 스케일 랜덤 스프레이 레티넥스(SSRSR, Single Scale RSR)이다. 실험에서 N=3, 랜덤 픽셀 수는 각각 10, 50, 250이 사용되었다.

3.2 적분 커널 조정을 이용한 SARSR(Surround Adaptive RSR)

기존의 RSR의 서라운드 영상의 블러 과정에서 적분 커널 사이즈가 클수록 노이즈를 제거가 잘 되고 경계선을 더 흐리게 할 수 있다. 하지만 커널 사이즈가 크면 노이즈 제거 효과는 크지만, 경계 부분에서 디테일 성분이 줄어들고 후광효과가 크게 나타난다. 기존 방법인 라이트 랜덤 스프레이 레티넥스처럼 커널 사이즈를 임의의 고정 값으로 하게 되면 평탄 영역에서 노이즈가 증가하고 경계 부분에 후광효과가 눈에 띄게 나타나는 것을 확인할 수 있다. 따라서 커널 사이즈를 배경 영상의 경계 정보에 따라 적응적으로 조정하면, 평탄영역에서 노이즈를 제거하고 경계 영역에서 후광 효과도 줄일 수 있다. 커널 사이즈를 조정하기 위한 기준 영상 작성을 위해 바이래터럴 필터(Bilateral filter)가 사용되었다. 바이래터럴 필터는 비선형 필터로서 도메인 필터(Domain filter) 및 레인지 필터(Range filter)인 두 개의 가우시안(Gaussian) 필터를 사용하며 화소 사이의 공간적 근접성과 레벨의 차이를 이용한 비선형 필터로서, 바이래터럴 필터가 적용된 화소 레벨 Bc는 식(15)과 같이 구해진다[12]-[14]. 경계 성분을 유지하면서 노이즈를 제거하므로, 경계 주변의 후광 효과가 일어날 가능성을 낮춰 준다.

$\[ B_c\left(c,s,I_c,I_s\right)=\frac{1}{k\left(c\right)}\sum _{s\in all}f\left(c-s\right)g\left(I_c-I_s\right)I_s \]$

(15)

여기서 c와 s는 각각 기준 화소와 주변 화소의 위치를 나타내고, I는 화소의 레벨을 나타낸다. f()와 g()는 각각 공간 영역 가우시안 함수와 레벨 영역 가우시안 함수를 나타낸다. 그리고 k(c)는 B_c를 정규화하기 위한 함수이다[15].

그림 4에서와 같이 바이래터럴 필터를 적용하여 전체적으로 블러되지 않고 등대와 지붕 부분에서 확인 할 수 있듯이, 강한 경계가 잘 유지됨을 확인할 수 있다.

Fig. 4.

Comparison before and after appling bilateral filter, (a) Reference image, (b) Result image of Bilateral filter

따라서 강한 경계 주위에서 발생되는 후광현상의 영역 예측을 위해 바이래터럴 영상과 가우시안 블러된 두 영상간의 차영상을 사용한다. 식 (16)에 바이래터럴-가우시안 차영상(DoBG, Difference of Bilateral Gaussian)을 나타내었다. 차영상은 증폭된 후 저 레벨 노이즈 제거를 위해 5에서 255 레벨 범위에 대해 정규화 된다. 이 영상은 적분 커널 사이즈를 경계 적응적으로 조절하기 위한 맵으로 사용된다. 식 (17)은 DoBG를 이용한 적분 커널 조정 함수로서 경계에 가까워지면 블러를 위한 커널 사이즈를 줄이고, 평탄 영역에서 커널 사이즈가 커지게 된다. 경계에서 효과적으로 후광 효과를 제거를 위해 지수함수를 사용하여 후광 영역에서 함수 값이 커널 최소 사이즈(K_min)에 근접되도록 하였다. 그림 5(a)는 바이래터럴-가우시안 DoBG, 5(b)는 DoBG를 이용한 맵 영상을 보여준다.

$\[ \begin{array}{l}N\left(\cdot \right)=\\ Norm\left[round\left(\alpha \times \left|Bilat.-Gaus.Blur\right|\right)\right]\end{array} \]$

(16)

$\[ \begin{array}{l}{k}_{flex}=-\left(K_{\mathrm{m}\mathrm{a}\mathrm{x}}-K_{\mathrm{m}\mathrm{i}\mathrm{n}}\right)N{\left(\cdot \right)}^{\beta }+K_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ \left(\alpha =3,\beta =0.3,K_{\mathrm{m}\mathrm{a}\mathrm{x}}=30.0,K_{\mathrm{m}\mathrm{i}\mathrm{n}}=10.0\right)\end{array} \]$

(17)

Fig. 5.

DoBG related images, (a) DoBG, (b) Mapping image using DoBG

여기서 α는 바이래터럴-가우시안 차영상 증폭 상수이고, round는 5~255 범위 처리, β는 후광 범위 설정을 위한 지수값, K_max, K_min는 k_flex의 최대값과 최소값이다. 각 사용자 파라미터는 시각 실험을 통해 주관적으로 설정되었다.

DoBG를 이용한 적분 커널 적용 시 그림 6에서처럼 경계 주변 영역의 후광 현상이 현격이 제거되고, 평탄 영역(하늘)에서 기존의 고정 커널 값에서 발생되는 노이즈를 효과적으로 제거할 수 있음이 확인된다.

Fig. 6.

Comparison of result images according to K

그림 7은 DoBG를 이용한 적응적인 적분 커널이 적용된 SARSR의 의사코드를 나타낸다. LRSR의 k₁, k₂ 고정 커널 사이즈에 k_flex가 적용되었다.

Fig. 7.

Pseudo code of SARSR

3.3 시각 감마 보정

디스플레이는 입력 신호에 따른 출력 밝기가 선형적이지 않고, 입력 신호에 1차 비례하지 않는 왜곡된 밝기를 출력한다. 이러한 왜곡에 대해 선형적인 출력 보상을 위한 감마 조정은 불가피한데 이때 시각의 시감 특성을 반영할 필요가 있다. 사람의 눈의 밝기에 대해 감각으로 구별할 수 있는 차이는 밝기의 정량적인 증감이 아닌 비율적인 증감에 의해 결정된다. 실제 사람의 눈은 밝은 영역보다 어두운 영역에서 밝기 차이를 더 민감하게 지각하는 특성을 가진다.

Bartleson-Breneman의 밝기 함수는 복합 영상 자극에 대해 순응 휘도에 따른 시감 밝기의 변화를 정량적으로 표현한다[7]. 인간의 시력은 휘도의 절대 수준이 아닌 휘도의 변화 또는 차이에 영향을 받는다. 그림 8은 배경 휘도에 따른 휘도(cd/m²)-밝기 관계를 보여준다.

Fig. 8.

Normalized Bartleson-Breneman brightness function as a function of adaptation luminance levels

디스플레이의 영상 휘도 범위 내에서 국부 영상에 대한 시각 순응 휘도 계산은 식 (18), (19)와 같다.

$\[ L_{\upsilon }=\frac{L_{\alpha }}{255}\times L_{D_{max}} \]$

(18)

$\[ L_{{\upsilon }_{max}}=\frac{L_{a_{max}}}{255}\times L_{D_{max}} \]$

(19)

여기서 L_a는 블러 함수를 이용한 배경 순응 영상이고, L_amax는 순응 영상의 최대값이다. L_Dmax는 디스플레이 최대 휘도로 300cd/m²가 설정되었고, L_υ는 디스플레이 상 시각 순응 휘도, L_υmax는 디스플레이 상 시각 순응 휘도의 최대값이다.

다음 디스플레이 순응 휘도에 대해 상대적인 보상 감마의 계산과 적용은 아래의 식 (20) ~ (24)와 같다.

$\[ f_{\gamma }\left(L_{\upsilon }\right)=0.444+0.045\ln \left(L_a+0.6034\right) \]$

(20)

$\[ {\gamma }_{\upsilon }=f_{\gamma }\left(L_{\upsilon }\right) \]$

(21)

$\[ {\gamma }_{{\upsilon }_{max}}=f_{\gamma }\left(L_{{\upsilon }_{max}}\right) \]$

(22)

$\[ {\gamma }_{adap}=p\frac{{\gamma }_{\upsilon }}{{\gamma }_{{\upsilon }_{max}}}, p=0.8 \]$

(23)

$\[ L_o^{\text{'}}=L_o^{{\gamma }_{adap}} \]$

(24)

여기서 f_γ는 순응 휘도의 변화에 따른 감마 변화를 모델링한 식이고[16], γ_υ는 디스플레이 상 시각 순응 휘도에 대한 감마, γ_υmax는 최대 순응 휘도에 대한 감마값이다. γ_adap는 시각 순응 휘도에 대한 적응적인 감마이고, p는 영상에 적용되는 γ_adap의 최대값을 설정해 주는 팩터이며 실험에서 0.8로 설정되었다.

그림 9는 국부적인 시각 감마 보상 전과 후의 영상결과를 보여준다. 국부적인 감마 조정을 통하여 어두운 부분이 상대적으로 밝게, 밝은 부분은 상대적으로 어둡게 조정되었다.

Fig. 9.

Adaptive gamma adjustment comparison

그림 10은 휘도 성분에 대한 제안된 전체적인 처리 과정을 나타낸다. 여기서 1~4는 3.1, 3.2에서 제안된 다중 스케일 랜덤 스프레이 레티넥스를, 5는 3.3의 시각 순응 휘도에 대한 적응적인 감마 보정 과정이다. 6은 영상 전체 밝기 범위 중 낮은 레벨을 제거하고 전체 범위로 확장시키는 과정이다.

Fig. 10.

Pseudo code of visual gamma adjustment

3.4 색 보정

RGB 색공간은 휘도에 대한 각 채널의 상관관계가 높아서 영상의 톤 처리 시 왜곡된 색 정보가 나타날 수 있다. 따라서 본 논문에서는 영상을 Lab 색공간으로 변환하여 처리하였다. L은 밝기인 명도를, a는 적색에서 녹색까지의 색상 정보를, b는 황색에서 청색까지의 색상 정보를 가진다. Lab는 CIE에서 표준화한 국제 규격화된 색체계로 모든 색채는 적색과 녹색, 청색과 황색이 동시에 지각될 수 없다는 반대색설을 기반으로 한 색 개념이다. a와 b는 채널 간 상관성이 낮고 독립적인 색 보상이 가능하다. 따라서 톤 처리는 L 채널에 제한되고 채도와 색상 정보를 가진 a와 b채널은 적절한 보정을 통해 원본 영상의 색상 정보를 유지할 수 있도록 한다. 채도(Chroma)는 색의 포화도를 나타내며, 식 (25)처럼 (a, b) 점의 거리로 나타낼 수 있다.

$\[ c=\sqrt{a^2+b^2} \]$

(25)

그림 11(a)에서 컬러 차트의 기준 색 패치 5개에 대해서 원본 이미지에 대한 노출(EV)을 3, 2, 1, 0.5, -0.5, -1, -2, -3으로 조정하여 각 픽셀에 대한 L값 및 c값을 계산하고, 원본 이미지의 L 변화에 대한 c 변화율을 추세선으로 나타내었다. 그림 11(b)는 L_gain과 c_gain의 변화 관계를 나타낸 그래프이다. 이 결과를 통해 L의 변화비와 동일하게 c가 변화하는 것이 아님을 확인할 수 있다. 즉, L의 변화율에 대해 c의 변화율이 선형적이지 않고 기존 방식처럼 명도 변화 비율로 색 보정을 하면 과도한 색 표현 등 왜곡이 발생할 수 있다. 원색에 가까운 색 보정을 위해서는 L_gain이 1보다 낮은 경우에는 기존보다 보상 비율을 높여야하고, 1보다 클 경우에는 기존보다 보상을 낮게 해야 한다.

Fig. 11.

Change relationship between Lgain and cgain

색 보상에 위한 gain CC_gain은 식 (26), 식 (27)과 같이 모델링 되었다.

$\[ L_{gain}=L_{out}/L_{in} \]$

(26)

$\[ C{C}_{gain}=\alpha \times L_{gain}^{\beta }, \alpha =1.009,\beta =0.705 \]$

(27)

여기서 α, β는　실험 추세선으로부터 근사적으로 정의된 함수를 통해 도출된 값이다.

그림 12(a)는 L_gain을 이용한 색 보상 결과를, 12(b)는 CC_gain을 이용한 색 보상 결과를 보여준다. 이전의 톤 압축 비율에 1차 비례하는 색 보상의 경우 톤 시프트가 큰 경우 과도한 색 포화도가 보이는 문제점이 있었다. 그러나 영상 결과에서처럼 CC_gain을 사용하면 원래 색을 보존하면서 채도 보상을 안정적으로 할 수 있다.

Fig. 12.

Comparisons for color correction

그림 13에 색 보상에 대한 알고리즘 부분을 나타냈으며, 1과 2는 색 보상을, 3은 3.3의 적응적인 감마 조정 후 정규화된 영상 L_out과 3.4의 색 보상 결과 a_out, b_out의 합성결과를 나타낸다.

Fig. 13.

Pseudo code of color correction

Ⅳ. 실험 및 결과

본 논문에서 제안한 다중 스케일 랜덤 스프레이 레티넥스의 성능 평가를 위하여 색재현 성능 비교 및 톤 압축 성능 비교가 동시에 가능한 컬러 부스 영상과 어두운 영역 및 밝은 영역의 포화 현상 개선 비교를 위한 저조도 영상, 야간 및 실외 장면을 포함한 영상이 실험에 사용되었다. 특히 조명이 부족한 어두운 영상은 국부 디테일 성분이 작고, 잡음 성분에 쉽게 노출되어 영상 원색 복원 개선에 어려움이 있다.

그림 14는 색상 보상과 후광 효과, 노이즈 제거 성능을 평가하기 위해 기존 방법과 제안한 방법에 의한 결과 영상들을 비교 도시하고 있다. 그림 14(a)의 원 영상에 대해 다른 랜덤 픽셀 수를 적용한 LRSR 결과 영상을 각각 그림 14(b)~14(d)에 보였다. 그리고 그림 14(e)는 그림 14(b)~14(d)를 가중치를 같게 하여 합성한 결과로 멀티 스케일 LRSR(MSLRSR) 영상을, 그림 14(f)는 제안된 방법의 결과 영상을 나타낸다.

Fig. 14.

Comparison of LRSR and SAMSRSR result Images: (a) Original image, (b) LRSR with n=10, (c) LRSR with n=50, (d) LRSR with n=250, (e) MSLRSR, (f) SAMSRSR

기존 방법과 제안된 방법과의 동일한 멀티 스케일 조건에서 비교를 위해 그림 14(e)와 그림 14(f)를 비교한 결과, 제안된 모델에 의해 모두 원색에 가까운 색 보정이 이루어졌고, 어두운 영역과 밝은 영역에 대해 톤 재현 성능이 개선되어 사물 식별이 더 명확해졌음이 확인된다. 전체적인 영상의 휘도 표현성이 좋아졌다.

영상 중 어두운 실내 영상에 대해 그림 15에서 결과를 확대하여 비교하였다. 그림 15(b)의 제안 방법의 결과 영상에서 그림 15(a)의 MSLRSR 결과와 비교하여 영상 전반의 디테일이 개선되었고, 특히 어두운 영역에서 톤 재생과 색 재현이 개선되었음이 나타난다. 영상에서 어두운 영역의 물체가 식별 가능하도록 국부 휘도가 개선되었다. 제안한 방법은 휘도 성분과 색 성분을 분리하여 처리함으로써 톤 압축 변동에 대해 독립적인 색 보상이 이루어지고 결과적으로 원 영상의 색을 잘 보존하였다.

Fig. 15.

Comparison of MSLRSR and SAMSRSR result Images

그림 16에서는 저 노출 영상인 등대영상에 대해 노출을 증가시켜 특정 영역의 원색을 확인하였고, 그림 17에서 다양한 기법의 표현성능을 비교하였다. 그림 17(a)~그림 17(c)는 다른 랜덤 픽셀 수에 따른 LRSR 결과 영상을, 그림 17(d)는 MSLRSR 결과 영상을, 그림 17(e)는 SLRMSR(Smart Light Random Memory Sprays Retinex) 결과 영상을, 그림 14(f)는 제안된 방법의 결과 영상이다.

Fig. 16.

Comparison with original image color using different exposed images

Fig. 17.

Comparisons of LRSR, SLRMSR, SAMSRSR result images

특히 SLRMSR은 LRSR의 주요 문제점인 밝기 조정과 색 보정을 개선한 최신의 방법이다[17]. 결과에서 기존 방법과 비교하여 제안한 방법이 원색에 보다 근접된 색 보정 성능을 보여줌을 확인할 수 있다. 또한 전체적으로 평탄 영역의 패턴 노이즈와 후광 현상을 줄이고, 사물의 시각성을 개선하였다. 경계가 뚜렷해지고 디테일 측면에서 효과적 결과가 확인된다.

V. 결 론

본 논문에서는 랜덤 스프레이 레티넥스 과정 중에 발생하는 불균일한 노이즈 및 후광효과를 개선하기 위해 영상 경계 적응적인 배경 적분 및 이를 기반으로 하는 다중 랜덤 스프레이 레티넥스 알고리즘을 제안하였다. 제안된 알고리즘에서는 배경 블러 영상에 필요한 적분 커널 사이즈를 적응적으로 조정하여 노이즈 제거 및 후광효과를 감소시켰고, 시각 특성을 이용한 적응적인 감마 조정을 통해 영상에 대해 전체적으로 적절한 밝기 조정 방법을 제시하였다. 그리고 여러 노출 값에 대한 영상의 각 픽셀의 명도와 채도의 관계를 모델링한 함수를 이용해 원 색성분에 가까운 색 보정을 하여 색 왜곡을 개선시켰다. 특히 제안한 방법은 급격한 휘도 변화에서 기존의 방법보다 색 선명도를 향상시켰다. 향 후 이 연구에 추가하여 다중 스케일 레이어의 합성 비율의 최적화와 합성 과정에서 강조되는 어두운 영역에 대한 화이트 노이즈를 개선하기 위한 연구가 필요하다. 또한, 다중 스케일 기법에 의한 계산량 증가를 감소시키기 위한 최적화된 단일 스프레이 맵 연구가 필요하다.

Acknowledgments

이 논문은 2019년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임. (NRF-2019R1D1A3A03020225)

References

• E. Land and J. J. McCann, "Lightness and Retinex theory", Journal of the Optical Society of America, Vol. 61, No. 1, pp. 1–11, Feb. 1971. [https://doi.org/10.1364/JOSA.61.000001]
• R. C. Gonzalez and R. E. Woods, "Digital Image Processing", Second ed., Upper Saddle River, NJ: Prentice-Hall, 2002.
• E. Land, "An Alternative Technique for The Computation of The Designator in The Retinex Theory of Color Vision", Proceedings of the National Academy of Sciences of the United States of America, Vol. 83, No. 10, pp. 3078-3080, May 1986. [https://doi.org/10.1073/pnas.83.10.3078]
• M. Li, J. Liu, W. Yang, X. Sun, and Z. Guo, "Structure-revealing low-light image enhancement via robust Retinex model", IEEE Transactions on Image Processing, Vol. 27, No. 6, pp. 2828-2841, Jun. 2018. [https://doi.org/10.1109/TIP.2018.2810539]
• E. Provenzi, M. Fierro, A. Rizzi, L. De Carli, D. Gadia, and D. Marini, "Random spray retinex: a new retinex implementation to investigate the local properties of the model", IEEE Transactions on Image Processing, Vol. 16, No. 1, pp. 162–171, Jan. 2007. [https://doi.org/10.1109/TIP.2006.884946]
• Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A Variational Framework for Retinex", International Journal of Computer Vision, Vol. 52, No. 1, pp. 7-23, Apr. 2003. [https://doi.org/10.1023/A:1022314423998]
• C. J. Bartleson and E. J. Breneman, "Brightness perception in complex fields", Journal of the Optical Society of America, Vol. 57, pp. 953-957, Jul. 1967. [https://doi.org/10.1364/JOSA.57.000953]
• D. J. Jobson, Z. Rahman, and G. A. Woodell, "Properties and Performance of A Center/surround Retinex", IEEE Transactions on Image Processing, Vol. 6, No. 3, pp. 451-462. Mar. 1997. [https://doi.org/10.1109/83.557356]
• D. J. Jobson, Z. Rahman, and G. A. Woodell, "A Multi-scale Retinex for Bridging The Gap Between Color Images and The Human Observation of Scenes", IEEE Transactions on Image Processing, Vol. 6, No. 7, pp. 965-976, Jul. 1997. [https://doi.org/10.1109/83.597272]
• N. Banić and S. Lončarić, "Light random sprays Retinex: exploiting the noisy illumination estimation", IEEE Signal Processing Letters, Vol. 20, No. 12, pp. 1240–1243, Dec. 2013. [https://doi.org/10.1109/LSP.2013.2285960]
• P. Viola and M. J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, HI, USA, pp. 1-1, Dec. 2001.
• C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, pp. 839-846, Jan. 1998.
• Tae-Wuk Bae, Byoung-Ik Kim, Sung-Hak Lee, Young-Choon Kim, Sang-Ho Ahn, and Kyu-Ik Sohng, "Small Target Detection Using Bilateral Filter Based on Edge Component", Journal of KICS, Vol. 34, No. 9, pp. 863-870, Sep. 2009.
• S. H. Lee and H. J. Kwon, "HDR Base and Detail Layer Separation Based on the Visual CSF in the Segmented Levels of the Fast Bilateral Filter", Journal of KIIT, Vol. 16, No. 7, pp. 57-65, Jul. 2018. [https://doi.org/10.14801/jkiit.2018.16.7.57]
• F. Durand and J. Dorsey, "Fast bilateral filtering for the display of high-dynamic-range images", ACM Trans. Graphics, Vol. 21, No. 3, pp. 257-266, Jul. 2002. [https://doi.org/10.1145/566654.566574]
• H. J. Kwon, S. H. Lee, S. C. Chae, and K. I. Sohng, "Multi scale tone mapping model using visual brightness functions for HDR image compress", Journal of Korean Institute of Communications and Information Sciences, Vol. 37A, No. 12, pp. 1054-1064, Dec. 2012. [https://doi.org/10.7840/kics.2012.37A.12.1054]
• N. Banić and S. Lončarić, "Smart light random memory sprays Retinex: a fast Retinex implementation for high-quality brightness adjustment and color correction", Journal of the Optical Society of America A, Vol. 32, No. 11, pp. 2136-2147, Nov. 2015. [https://doi.org/10.1364/JOSAA.32.002136]