적응적 커널 회귀 기반 초해상도와 디모자이킹 기술

2.1 디모자이킹과 색차 기반 복원

디모자이킹 연구는 단순 보간에서 출발하여 방향성 정보와 색상 채널 간 상관관계를 활용하는 방향으로 발전해 왔다. bilinear 보간은 구현이 단순하지만 에지 구조에서 색 번짐과 zippering이 쉽게 발생한다. 반면 Malvar-He-Cutler 방법은 색차 정보를 반영하는 선형 필터를 사용하여 보다 높은 정량 성능을 제공하는 대표적 기준 기법이다[3]. 이후 잔차 보간과 적응적 잔차 보간은 잔차 영역의 보간과 적응적 결합을 통해 성능을 개선하였다[4][5].

이와 같은 방법들에서 공통적으로 중요한 요소는 녹색 채널이다. Bayer CFA에서는 녹색 샘플이 전체의 절반을 차지하므로 적색 및 청색 채널보다 구조 정보가 풍부하다. 따라서 많은 방법들은 먼저 녹색 채널을 복원한 뒤, 적색-녹색 및 청색-녹색의 색차를 이용하여 나머지 채널을 재구성한다. 이러한 접근은 색상 채널 간 불일치를 줄이고, 반복적인 에지 구조에서 색상 왜곡을 억제하는 데 유리하다.

2.2 디모자이킹 및 초해상도 통합 복원

초해상도와 디모자이킹을 동시에 고려하는 접근은 두 문제를 분리하여 처리할 때 발생하는 오차 누적을 줄일 수 있다는 장점을 가진다. Farsiu et al. [7]은 다중 프레임 기반 통합 복원 문제를 정칙화 관점에서 다루었고, Takeda et al.[8]은 적응적 커널 회귀가 복원, 업샘플링 및 보간에 유효한 프레임워크가 될 수 있음을 보였다. 이러한 접근은 지역 구조에 따라 비등방성 보간 특성을 부여할 수 있어 에지 보존에 유리하다.

또한 가이드 필터는 가이드 영상의 구조를 유지하면서 다른 채널 또는 다른 해상도의 영상을 안정적으로 보간하는 데 활용될 수 있다[6]. Bayer 복원 문제에서도 녹색 채널을 기준으로 적색 및 청색 채널을 보간하거나, 초기 복원 결과를 안정적으로 결합하는 데 유용하다. 최근에는 저해상도 Bayer 입력으로부터 고해상도 RGB 영상을 직접 예측하는 딥러닝 기반 통합 복원 구조도 제안되었다[9][10]. 그러나 이러한 방법들은 학습 데이터와 실험 조건에 대한 의존성이 크므로, 본 논문에서는 해석과 비교가 용이한 비학습 기반 접근에 초점을 둔다.

2.3 최근 RAW 영역 통합 복원 연구

최근에는 쿼드-Bayer 및 복합 모자이크 패턴을 포함하는 RAW 영역 복원 연구도 활발히 보고되고 있다[11]-[13]. 이러한 연구들은 RAW 영역 통합 복원이 여전히 중요한 연구 주제임을 보여준다. 그러나 본 논문은 Bayer 기반의 디모자이킹 및 초해상도 통합 복원 문제를 대상으로, 재현 가능한 비학습 벤치마크를 구성하고 green-first 에지 지향 복원이 반복적인 에지 구조에서 제공하는 시각적 개선을 분석하는 데 초점을 둔다.

3.1 전체 알고리즘 개요

본 절에서는 적응적 커널 회귀 계열의 초기 복원 결과를 활용하여 Bayer 영상으로부터 고해상도 컬러 영상을 복원하는 green-first 에지 지향 복원 방법을 제안한다. 그림 1은 제안한 알고리즘의 전체 처리 흐름을 나타낸 블록도이다. 제안한 방법은 저해상도 Bayer 입력으로부터 강한 초기 복원 경로와 녹색 채널 에지 지향 복원 경로를 구성한 뒤, 이들을 적응적으로 결합하여 최종 복원 결과를 생성한다.

Fig. 1.

Block diagram of the proposed green-first edge-directed reconstruction algorithm

먼저 강한 초기 복원 단계에서는 Malvar와 CEC-AKR(Color Edge Consistency-Adaptive Kernel Regression)을 결합한 방법을 적용하여 초기 RGB 추정 영상을 생성한다. 이 결과는 전체 영상의 안정적인 기본 구조를 제공하며, 이후 에지 방향 및 에지 강도 추정과 적응적 결합 단계의 기준 영상으로 사용된다.

제안한 방법의 핵심은 Bayer 입력으로부터 별도의 녹색 채널 복원 경로를 구성한다는 점에 있다. 녹색 채널을 에지 방향에 따라 우선 복원한 뒤, 적색-녹색 및 청색-녹색의 색차 성분을 재구성하여 에지 지향 RGB 추정 영상을 생성한다. 이후 에지 강도에 기반한 결합 가중치를 이용하여 초기 RGB 추정 영상과 에지 지향 RGB 추정 영상을 적응적으로 결합한다. 마지막 단계에서는 관측된 Bayer CFA 샘플을 다시 반영하여 입력 관측값과의 일관성을 유지한다.

기존 방법들이 주로 초기 복원 결과에 대한 후처리형 보정에 의존하는 것과 달리, 제안한 방법은 Bayer 입력으로부터 녹색 채널 우선 복원 경로를 별도로 구성하고 이를 초기 복원 결과와 적응적으로 결합한다는 점에서 차별성을 가진다. 이러한 구조를 통해 반복적인 에지 구조에서 발생하는 zippering과 색상 왜곡을 완화할 수 있다.

3.2 녹색 채널의 에지 지향 복원

Bayer CFA에서 녹색 샘플은 전체의 1/2을 차지하므로, 적색 및 청색 채널보다 상대적으로 풍부한 구조 정보를 제공한다. 이에 따라 제안한 방법에서는 녹색이 관측되지 않은 위치 p에 대해 국소 방향별 후보 복원값을 계산하고, 방향별 에지 비용에 따라 가중치를 부여하여 녹색 채널을 복원한다. 이때 방향 집합을 Ω = {h,v,d₁,d₂}로 두면, 화소 위치 p에서의 에지 지향 녹색 복원값은 식 (1)과 같다.

여기서 G_d(p)는 방향 d에서 계산된 녹색 후보값, w_d(p)는 방향별 가중치이다. 방향 가중치는 방향 d의 에지 비용 E_d(p)가 작은 방향에 더 큰 값을 부여하도록 다음 식 (2)와 같이 정의할 수 있다.

여기서 E_d(p)는 방향 d의 에지 비용이며, ϵ은 분모가 0이 되는 것을 방지하기 위한 작은 상수이다. 식 (2)는 에지 비용이 작은 방향에 더 큰 가중치를 부여하도록 정의되므로, 에지와 일치하는 방향의 보간값이 더 크게 반영된다. 그 결과 에지에 수직한 방향에서 발생하는 불연속적인 보간 오차를 줄일 수 있다.

3.3 색차의 에지 고려 복원

녹색 채널이 복원되면 적색 및 청색 채널은 색차 성분을 통해 재구성한다. 색차는 원 채널 자체보다 공간적으로 더 완만한 변화를 갖는 경우가 많으므로, 방향성 정보를 이용한 보간에 유리하다. 제안한 방법에서는 복원된 녹색 채널 G^ed(p)를 기준으로, 화소 위치 p에서의 적색-녹색 색차와 청색-녹색 색차를 식 (3)과 같이 각각 정의한다.

이후 방향성을 고려하여 복원된 색차 성분 $$ D_R^{ed}\left(p\right)$$, $$ D_B^{ed}\left(p\right)$$​를 이용하면 복원된 적색 및 청색 채널 값 $$ R^{ed}\left(p\right),B^{ed}\left(p\right)$$은 다음과 같이 얻어진다.

식 (4)의 구조는 녹색 채널을 기준 영상으로 사용함으로써 적색과 청색이 서로 다른 방향으로 번지는 현상을 줄이고, 에지 부근의 색상 불연속을 완화하는 역할을 수행한다. 특히 펜스와 같이 선형 반복 구조가 많은 영역에서는 녹색 채널의 방향성이 상대적으로 안정적으로 추정되므로, 색차 기반 복원이 더 효과적으로 동작할 수 있다.

3.4 적응적 결합과 관측 샘플 보존

제안한 방법에서는 초기 복원 결과와 에지 지향 복원 결과를 지역 에지 강도에 따라 적응적으로 결합한다. 평탄 영역에서는 초기 복원의 안정적인 특성을 유지하고, 강한 에지 영역에서는 에지 지향 복원의 반영 비율을 높임으로써 zippering과 색상 왜곡을 줄이고자 한다. 화소 위치 p에서의 적응적 결합 결과 C^out(p)는 식 (5)와 같이 표현할 수 있다.

여기서 C^∈(p)는 초기 복원값, C^ed(p)는 에지 지향 복원값, α(p)는 에지 강도에 따라 결정되는 결합 가중치이다. 본 논문에서는 적응적 결합 가중치를 다음과 같이 정의하였다.

여기서 s(p)는 화소 위치 p에서의 지역 에지 강도를 나타내며, 0 ≤ s(p) ≤ 1의 범위를 갖는다. 식 (6)은 에지 강도가 작은 영역에서도 초기 복원의 안정성을 일부 유지하면서, 강한 에지 영역에서는 에지 지향 복원의 반영 비율을 증가시키도록 설계하였다.

마지막 단계에서는 관측된 Bayer CFA 샘플을 최종 결과에 다시 반영하여 관측 샘플 보존을 수행한다. 채널 C의 관측 여부를 나타내는 마스크 M_C(p)를 사용하면 최종 출력은 다음과 같이 정리된다.

여기서 C^obs(p)는 Bayer 입력에서 실제로 관측된 샘플값이며, M_C(p)는 화소 위치 p에서 채널 C가 관측되었는지를 나타내는 이진 마스크이다. 식 (7)은 실제로 관측된 CFA 샘플을 유지함으로써 복원 결과가 입력 관측값과 모순되지 않도록 한다. 이러한 구조를 통해 제안한 방법은 초기 복원의 안정성, green-first 복원의 구조 보존 특성, 그리고 적응적 결합의 에지 지향 특성을 함께 반영한다.

그림 2는 Kodim19 영상의 펜스 영역을 예로 들어 제안한 방법의 단계별 복원 과정을 나타낸다. (a)는 Bayer 입력의 희소한 관측 구조를 보여주며, (b)는 초기 복원 결과에서 반복적인 에지 부근의 zippering과 색상 왜곡이 나타난다. (c)는 에지 방향 맵으로, 펜스 구조에서 방향성이 일관되게 나타난다. (d)는 녹색 채널을 에지 방향에 따라 복원한 결과로, 에지 부근에서 구조적 연속성이 향상된 모습을 보인다. (e)는 에지 강도 기반의 적응적 결합 가중치를 나타낸다. (f)는 최종 복원 결과로, 제안한 방법을 통해 에지 구조에서의 zippering과 색상 왜곡이 감소된 결과를 보여준다.

Fig. 2.

Conceptual illustration of the proposed method on repetitive edge structures (a) Bayer input, (b) initial reconstruction, (c) edge direction map, (d) green edge-directed reconstruction, (e) blending weight, (f) final reconstruction

4.1 실험 환경 및 재현 가능한 평가 절차

제안한 방법의 성능을 평가하기 위해 Kodak 데이터셋을 이용한 실험을 수행하였다. 원본 RGB 영상으로부터 저해상도 입력을 생성한 후 RGGB Bayer 패턴을 적용하여 실험 입력을 구성하였으며, 복원 배율은 2배로 설정하였다. 비교 방법은 bilinear 보간, Malvar-He-Cutler 방법[3], 적응적 커널 회귀 기반 방법(AKR, Adaptive Kernel Regression)[8] 및 이를 기반으로 한 변형 방법(CEC-AKR), 그리고 제안 방법의 다섯 가지로 구성하였다. 모든 방법은 동일한 입력 조건과 동일한 평가 기준에서 비교하였으며, 정량 평가는 PSNR과 SSIM을 사용하고 정성 평가는 대표 영상의 확대 영역 비교를 통해 수행하였다.

이와 같은 실험 절차는 입력 생성 방식, 비교 방법 및 평가 지표를 명시적으로 통일함으로써 재현 가능한 벤치마크를 구성하는 데 목적이 있다. 특히 본 논문에서는 평균적인 정량 성능뿐 아니라, 반복적인 고주파 에지 구조에서 나타나는 왜곡의 양상도 함께 분석하기 위해 대표 확대 영역 비교를 병행하였다.

재현 가능성을 위해 모든 실험 설정값을 고정하였다. AKR 및 CEC-AKR에서는 윈도우 크기 5 × 5, 가우시안 𝜎=1.5, 비등방성 강도 1.0을 공통으로 적용하였고, 제안한 방법의 초기 복원은 Malvar+CEC-AKR로 설정하였다. 또한 적응적 결합 가중치는 식 (6)을 사용하였으며, 위 설정값은 대표 영상에 대한 사전 실험에서 안정적인 결과를 보인 값을 선택한 것이다. 이러한 설정은 특정 영상에 대해 개별적으로 조정하지 않고 Kodak 전체 영상에 동일하게 적용하였다.

본 논문에서 사용한 PSNR은 복원 영상과 기준 영상 간의 평균 제곱 오차를 로그 스케일로 나타낸 지표로서, 값이 클수록 복원 오차가 작음을 의미한다. 또한 SSIM은 밝기, 대비 및 구조적 유사성을 종합적으로 반영하는 지표로서, 값이 1에 가까울수록 기준 영상과의 구조적 유사성이 높음을 나타낸다.

4.2 정량적 결과

Kodak 데이터셋 전체에 대한 평균 PSNR 및 SSIM 결과를 표 1에 제시하였다. 제안한 방법은 평균 PSNR 38.2152 dB와 평균 SSIM 0.9796을 나타내어 비교 방법들 가운데 가장 높은 성능을 보였다. 이는 Bilinear 대비 각각 9.0965 dB와 0.0879, Malvar 대비 2.8744 dB와 0.0112, AKR 대비 1.2126 dB와 0.0022, CEC-AKR 대비 1.0889 dB와 0.0018 향상된 결과이다. 이러한 결과는 제안한 방법이 평균적인 오차 감소와 구조적 유사성 측면에서 모두 개선된 성능을 보였음을 나타낸다. 다만 이러한 평균 결과가 모든 영상에서의 일관된 우세를 의미하는 것은 아니며, 일부 영상에서는 기존 방법과의 차이가 크지 않거나 예외 사례가 나타날 수 있다.

Table 1.

Average PSNR and SSIM comparison on the Kodak dataset (×2 enlargement, RGGB Bayer).

4.3 정성적 결과

정성적 비교를 위해 Kodak 데이터셋의 kodim19 영상에서 반복적인 펜스 영역을 확대하여 비교하였으며, 그 결과를 그림 3에 제시하였다. bilinear와 Malvar는 반복적인 선 구조 부근에서 zippering과 색상 왜곡이 나타났고, AKR 기반 방법들은 평균 성능 향상에도 불구하고 정성적으로는 유사한 결과를 보이는 경우가 있었다. 반면 제안한 방법은 녹색 채널을 에지 방향에 따라 우선 복원하고, 색차 성분을 에지를 고려하여 복원한 뒤 적응적으로 결합함으로써 펜스 경계 부근의 색상 불연속과 zippering을 줄이는 경향을 나타냈다.

Fig. 3.

Qualitative comparison of reconstruction results on the repetitive fence region of the Kodim19 image from the Kodak dataset. (a) Ground truth, (b) Malvar, (c) malvar_akr, (d) malvar_cec_akr, and (e) the proposed method

특히 기존 AKR 계열 방법은 정량 지표의 향상에도 불구하고 반복적인 고주파 구조에서의 주관적 개선이 제한적으로 나타났으나, 제안한 green-first 구조에서는 에지 주변의 색상 왜곡이 감소하면서 에지의 연속성과 색상 안정성이 보다 명확하게 향상된 것을 확인할 수 있다. 이러한 결과는 제안한 방법이 단순한 평균 오차 감소뿐 아니라, 어려운 에지 구조에서의 구조 보존과 왜곡 완화에도 기여함을 보여준다.

4.4 논의

표 1과 그림 3을 종합하면, 제안한 방법은 평균 정량 성능과 반복적인 고주파 에지 구조에서의 주관적 화질 측면에서 모두 의미 있는 개선을 제공한다. 이는 녹색 채널을 우선적으로 안정화하고 이를 기반으로 색차를 복원하는 구조가 색상 채널 간 에지 불일치를 줄이는 데 효과적으로 작용했기 때문으로 해석할 수 있다. 또한 초기 복원 결과와 에지 지향 복원 결과를 적응적으로 결합함으로써, 평탄 영역의 안정성과 에지 영역의 구조 보존 특성을 동시에 활용할 수 있었다. 다만 일부 영상에서는 기존 방법보다 낮은 결과가 나타났으므로, 제안한 방법의 효과는 모든 경우에서의 일관된 우세보다는 전체 평균 성능 향상과 특정 어려운 구조에서의 주관적 개선을 중심으로 해석하는 것이 적절하다.