컬러 필터 조리개 마스크 휠을 이용한 다중 스펙트럼 영상의 초해상도 디모자이킹

Ⅰ. 서 론

디지털 카메라로 영상을 촬영할 때 다양한 영향으로 화질 열화가 발생한다. 렌즈와 센서에서는 공간 해상도의 저하와 영상 센서의 컬러 샘플링에서는 컬러 해상도의 감소가 나타난다. 초해상도1(Superresolution) 기술은 다수의 저해상도 영상을 사용해서 고해상도 영상을 추정하는 기술이다[1]. 이러한 초해상도 영상복원을 위해서는 입력되는 저해상도 영상들에 배타적인 정보가 존재해야 초해상도 복원이 가능하다. 초해상도 복원을 위한 대표적인 방법은 저해상도 영상 프레임 사이의 움직임 정보를 부화소 단위로 추정하고 정합하여 배타적인 정보를 얻는 것이다. 그러나 움직임 정보를 사용하지 않고 초해상도 영상을 복원하기 위한 기술도 소개되었다[2].

대다수의 일반적인 소비자용 카메라는 컬러 정보를 획득하기 위해 컬러 필터 배열(CFA, Color Filter Array)을 사용하며, 주로 베이어 컬러 필터 배열(Bayer CFA)을 사용한다. 이 방식은 컬러 영상을 얻기 위해서 단일 영상 센서와 CFA를 사용하는데, 센서의 각 화소에서 한 가지 색상 정보만을 추출하기 때문에 RGB 채널 중 하나의 색상 정보만을 가진다. 따라서 컬러 영상을 생성하기 위해서는 각 화소에서 추출하지 못한 나머지 두 색상 정보를 디모자이킹(Demosaicking) 기술로 계산한다[3]. 또한 디모자이킹과 초해상도 영상복원을 통합하여 저해상도 베이어 영상에서 고해상도 영상을 복원하기 위한 기술이 연구되었다[4]-[6].

앞서 살펴본 컬러 영상은 가시광선 대역에서 단지 RGB의 세 개의 스펙트럴 대역을 사용하기 때문에 나머지 대역의 상당한 정보들을 사용할 수 없다. 그러나 다중 스펙트럼 정보를 사용하면 재조명, 영상분할 등의 컴퓨터시각이나 영상처리 응용 분야로 확장할 수 있다. 다중 스펙트럼 영상을 취득하기 위한 방법으로는 다중 영상 센서를 사용하는 방법과 단일 영상 센서를 사용하는 방법으로 구분할 수 있다. 단일 영상 센서를 이용하는 다중 스펙트럼 영상 기술은 베이어 패턴과는 다르게 다양한 색상 정보를 가진 CFA를 확장해서 다중 스펙트럼 필터 배열(MSFA, Multispectral Filter Array)을 사용해야 한다[7][8]. 그러나 이러한 방법은 MSFA 영상센서를 개발해서 카메라에 탑재해야 하는 어려움이 있다. 한편 베이어 CFA를 사용하는 일반적인 카메라를 사용해서 다중 스펙트럼 영상을 얻기 위한 방법으로 광대역 그린 컬러필터를 사용하여 RGB 채널 이외에도 노란색(Y)과 청록색(Cy)을 얻기 위한 구조가 제안되었다[9].

본 논문에서는 다중 스펙트럼 영상을 위한 디모자이킹과 초해상도 영상복원의 문제를 동시에 해결하는 방법을 제안한다. 제안하는 방법의 특징은 첫째, 컬러필터와 방향성 조리개를 가진 마스크 휠을 사용하여 RYGCB의 5개 대역의 다중 스펙트럼 영상을 생성하며 부화소 단위 움직임 추정 및 정합 과정이 필요 없는 구조를 제안하고, 둘째, 베이어 영역에서의 초해상도 영상복원과 디모자이킹을 위한 정칙화 기반 프레임워크를 제안한다.

본 논문의 구성은 다음과 같다. 2절에서는 다중 스펙트럼 영상을 취득하기 위한 광대역 그린 컬러필터 조리개 마스크 휠의 구조와 초해상도 디모자이킹을 위한 영상열화 모델을 제안한다. 3절에서는 베이어 영역에서의 다중 스펙트럼 영상의 정칙화 기반 초해상도 디모자이킹 알고리즘을 제안한다. 4절에서는 실험 결과를 제시하고, 마지막으로 5절에서 결론을 맺는다.

Ⅱ. 다중 스펙트럼 영상을 위한 컬러필터 조리개 마스크와 베이어 영역에서의 영상열화 모델

본 절에서는 다중 스펙트럼 영상을 취득하기 위한 컬러필터 조리개 마스크 휠과 베이어 영역에서의 영상 열화 모델을 제시한다. 그림 1에 제시된 컬러필터 조리개 마스크를 통과한 빛이 베이어 컬러필터배열을 지나 영상 센서에 저장되는 과정에서 고해상도 영상이 베이어 영역에서의 저해상도 영상으로 열화되는 열화 모델을 다음의 선형식으로 제시한다.

Fig. 1.

Color filtered aperture mask wheel for multispectral imaging

여기에서 y_k와 η_k는 k번째의 저해상도 영상과 잡음을 나타내는 벡터이며, x는 고해상도의 원영상 벡터이다. H_k는 k번째 점확산함수(PSF, Point Spread Function)를 나타내는 열화 행렬이다. D는 고해상도의 영상을 저해상도 영상으로 샘플링하는 행렬이고, F는 베이어 컬러 샘플링을 수행하는 행렬이다.

기존의 베이어 CFA를 사용하는 단일 영상센서로 초해상도 다중 스펙트럼 영상을 촬영하기 위한 조리개 마스크 휠을 그림 1에 제시한다. 베이어 CFA는 RGB의 세 가지 색상만을 저장할 수 있지만 제안하는 조리개 마스크 휠을 사용하면 RYGCB의 색상 정보를 얻을 수 있다. 그림 1에서 보는 것과 같이 마스크 휠에는 8개의 조리개 마스크를 가진 형태이고, 각각의 마스크는 다른 방향으로 기울어진 직사각형 구조로 촬영할 때 마스크 휠이 회전하면서 카메라 렌즈를 가린다. 이 직사각형 마스크들은 수평, 수직과 주대각과 부대각 등 네 개 방향이 두 개의 집단을 구성하여 전체 8개로 구성되었다. 이 중에서 4개의 조리개 마스크에는 광대역 그린 컬러필터를 적용하고 나머지 4개의 조리개 마스크에는 컬러필터를 사용하지 않고 개방했다. 이 구조는 논문 [6][9]에서 제시한 방법을 합성한 구조이다. 그림 1의 마스크 휠에 있는 방향성 조리개 마스크는 렌즈의 중심에 위치하도록 구성하면 촬영한 저해상도 영상들은 초점 열화 커널 계수의 무게 중심은 동일하고 마스크의 방향에 따라서 방향성 초점열화를 가진다.

따라서 저해상도 영상들을 정합하기 위한 움직임 추정이 필요 없이 저해상도 영상들의 에일리이싱 성분을 사용하여 초해상도 영상 복원을 가능하게 한다.

마스크 휠의 일부 조리개 마스크 영역에는 광대역 그린 필터를 적용함으로써 다중 스펙트럼 영상을 취득할 수 있다. 마스크 휠의 조리개에 컬러필터가 존재하지 않고 촬영한 영상은 영상 센서의 베이어 RGB CFA를 사용하기 때문에 RGB의 색상을 저장한다. 그러나 광대역 그린 필터가 장착된 조리개 마스크를 통해 촬영된 영상은 YGC(Yellow, Green, Cyan)의 모자이크 영상을 저장한다.

컬러필터 조리개 마스크로 YGC의 색상을 취득할 수 있는 원리를 설명하기 위해서 그림 2에 제안하는 컬러 영상 시스템의 스펙트럼 응답 그래프를 제시한다. 점선은 베이어 컬러필터의 RGB 영역의 스펙트럼 응답을 나타내며 굵은 실선은 마스크 휠에 사용하는 광대역 그린 컬러필터의 응답을 표시했다. 광대역 그린 필터의 응답에서 베이어 CFA의 R 색상과 B 색상의 응답과 중복되는 부분이 발생하는 것을 볼 수 있다. 이 영역은 각각 Y와 C 대역에 해당하는 것을 알 수 있다.

Fig. 2.

Spectral response of proposed multispectral imaing mask with wide gree

보다 구체적으로 설명하면, 빛이 광대역 그린 필터를 통과할 때 R과 B의 베이어 컬러필터 화소 영역에서는 R과 B의 주성분은 투과되지 않고 Y와 C 대역의 색 성분 중 일부가 투과되어 R과 B 화소에 저장된다.

물론 베이어 패턴에서 G 화소 영역을 통과한 빛은 같은 손실 없이 G 성분을 나타낸다. 그러므로 광대역 그린 필터가 적용된 마스크로 촬영한 영상에서는 Y, G, C의 3개 대역의 성분을 얻을 수 있고, 개방된 마스크에서는 R, G, B의 색 정보를 얻을 수 있다. 따라서 RYGCB의 5개 대역의 색 정보를 구할 수 있기 때문에 다중 스펙트럼 영상을 생성할 수 있다.

결과적으로 컬러필터 마스크 휠을 사용해서 촬영한 8장의 영상은 YGGC 패턴을 가진 4장의 영상과 RGGB의 패턴을 가진 4장으로 구성된다. RYGCB의 5개 대역의 색상 정보는 기존의 베이어 필터를 가진 카메라로 촬영을 했기 때문에 베이어 배열의 색 정보 구성비와 동일하게 1/2의 G 대역 정보를 저장하며 나머지 RBYC 색 정보는 각각 1/8의 정보량을 가진다. 인간의 시각 체계에서 가장 민감하고 밝기 영상에 가까운 색상인 G 채널의 경우는 한 장의 영상 안에서 1/2의 비중을 가질 뿐만아니라 컬러필터 마스크를 사용한 경우와 사용하지 않은 경우 양쪽에서 촬영할 수 있기 때문에 해상도 향상, 컬러 보간, 잡음 감소 등에 효과적으로 사용할 수 있다. 또한 각각 4종류의 방향성 직사각형 조리개 마스크로 서로 다른 방향성 열화를 가진 베이어 영역에서의 저해상도 영상들을 취득한다. 다음 절에서는 취득한 베이어 영역의 다중 스펙트럼 저해상도 영상들을 고해상도 디모자이킹 기술을 통해 복원하는 과정을 제안한다.

Ⅲ. 정칙화 기반 초해상도 디모자이킹

본 절에서는 초해상도 디모자이킹을 구현하기 위해서 가이드 필터와 적응적 정칙화 기반의 영상복원 기술을 사용하는 프레임워크를 제안한다.

식 (1)에서 제시한 베이어 영역의 영상 열화 모델은 고해상도 컬러 영상 x가 영상 열화 과정을 거쳐 베이어 영역에서 샘플링된 저해상도 영상 y_k을 얻는다고 가정한다. 베이어 영역의 저해상도 영상 y_k에 인가된 미소한 오차는 해x에 막대한 변화를 초래할 수 있는데, 이와 같은 문제를 ill-posedness라 한다. 이러한 문제를 해결하여 안정화하는 방법을 정칙화라고 한다. 영상복원 문제를 정칙화하기 위해서 선험적 평활도(a priori smoothness) 제약조건을 적용하여 다음과 같은 정칙화 방식으로 해를 구할 수 있다.

식 (2)와 같은 비용 함수(cost function)를 최소화시킴으로써 초해상도 디모자이킹의 해를 구할 수 있다. 위 식의 첫 번째 항 $$ \sum _{k=1}^K{‖y_k-FD{H}_{k}x‖}^2$$은 고해상도 컬러영상과 조리개 마스크에 의해서 열화되고 베이어 영역에서 샘플링된 k개의 저해상도 영상 사이의 오차를 나타낸다. 두 번째 항 J₁ (x)은 컬러 채널 내부에서의 고주파 성분을 제한하는 역할을 수행한다. 여기에서 C는 고주파통과필터를 나타내며, 이 항을 최소화시키는 과정은 주로 증폭된 잡음에 의한 고주파 성분을 억제하여 복원된 신호의 에너지를 제한하는 역할을 하므로 안정화 함수라 한다. 정칙화 영상복원을 통해 해를 구하는 과정에서 정칙화 매개변수를 조절함으로써 부드러운 영상과 잡음이 증폭된 영상 사이의 적절한 값을 결정할 수 있다. J₂ (x)는 서로 다른 컬러 채널에서 존재하는 에지의 위치와 방향이 일치하도록 컬러 채널 간의 고주파 성분을 제한하는 역할을 수행하여 디모자이킹 과정에서 발생하는 컬러 채널 간의 오차를 제한할 수 있다. 결국 λ₁과 λ₂는 각각 컬러 채널 내부와 컬러 채널 사이의 비중을 조절하는 정칙화 매개변수를 나타낸다.

그림 3에는 본 논문에서 제안하는 다중 스펙트럼 영상을 위한 초해상도 디모자이킹 알고리즘의 다이어그램을 제시한다. 2절에서 제안한 컬러 필터 조리개 마스크 휠을 이용해서 8장의 RYGCB의 저해상도 영상프레임들을 촬영한다. 베이어 영역에서 촬영된 저해상도 RYGCB의 색상 정보 중에서 1/2의 정보량을 가진 G 채널 화소를 먼저 보간하여 초기 가이드 필터에서 사용할 가이드 영상을 생성한다.

Fig. 3.

Framework of the superresolution demosaicking algorithm for the proposed multispectral imaging

에지를 보존하면서 평활화를 수행하는 가이드 필터는 영상의 디테일을 유지하면서 잡음을 효과적으로 제거할 수 있다[10][11]. 가이드 필터는 각각의 지역 윈도우에서의 필터 출력은 다음 수식과 같이 가이드 영상의 선형 변환으로 표현한다.

여기서 q_i는 i번째 위치에서의 필터 출력 화소 값이고, I_I는 가이드 영상에서 i번째 화소의 값이다. $$ {\overline{a}}_k$$와 $$ {\overline{b}}_k$$는 지역적 선형 모델의 계수로 각 화소의 주변 윈도우에 대해 계산되며 k는 특정 윈도우를 나타낸다. 가이드 필터는 입력 영상을 가이드로 사용하여 출력 영상을 생성한다. 이 알고리즘에서는 각 픽셀 주변의 작은 윈도우 내에서 선형 회귀를 수행하여 가이드 영상의 각 픽셀 값을 예측하는 계수 $$ {\overline{a}}_k$$와 $$ {\overline{b}}_k$$를 계산한다. 출력 영상은 이 계수를 사용하여 가이드 영상의 각 화소 값을 조정하여 생성하며 결과적으로 에지를 보존하면서 영상 내의 작은 텍스처나 잡음을 효과적으로 제거할 수 있다.

가이드 필터를 사용해서 중간 단계의 저해상도 영상을 생성하는 과정은 다음과 같다. 녹색 화소들로부터 영상보간을 통해 생성한 가이드 영상은 가이드 영상과 같은 채널인 G와 인접한 채널인 Y와 C 채널을 위한 가이드로 사용한다. 가이드 필터의 결과인 Y와 C 채널을 새로운 가이드 영상으로 사용하여 R과 B 채널의 가이드 영상으로 적용한다. 결국 가이드 필터를 사용해서 RYGCB의 5개 대역에서 저해상도의 디모자이크 영상을 추출할 수 있다. 이어서 RYGCB 정보를 가진 8장의 저해상도 영상을 입력으로 식 (2)를 최소화 시키기 위한 해를 구하기 위해서 반복적 적응적 정칙화 영상복원 기술을 통해 초해상도 복원과 디모자이킹을 동시에 처리한다.

Ⅳ. 실험 결과

제안한 다중 스펙트럼 영상을 위한 초해상도 디모자이킹 알고리듬의 성능 평가를 위해서 모의실험을 수행했다. 본 논문의 다중 스펙트럼 영상 시스템과 초해상도 디모자이킹 알고리즘의 성능 평가를 위해서는 실제 상용 카메라의 CFA 패턴의 컬러필터별 스펙트럼 응답에 대한 구체적인 정보가 필요하고, 이 스펙트럼 응답에 적합한 조리개 마스크 휠의 광대역 G 필터를 제작해야 한다. 그러나 본 실험에서는 다중 스펙트럼을 위한 장비 제작 대신에 컴퓨터 모의 실험실 통해 제안하는 시스템의 실제 적용 가능성을 예상하고 검증하고자 했다. 우선 광대역 G 필터의 실제 제작의 가능성을 파악하기 위해서 기성 제품인 광대역 그린 컬러필터의 필터 응답 곡선 자료를 제작사로부터 내려받아 그림 4에 제시했다. 그림 2에서 제시한 다중 스펙트럼 컬러 마스크 영상의 스펙트럼 응답과 비교하면 녹색 파장 대역 전체와 노랑과 청록색 대역의 일부를 포함하는 것을 확인할 수 있어 그림 2에 제시한 다중 스펙트럼 응답이 타당한 가정임을 확인할 수 있다.

Fig. 4.

Spectral response of a wide green color filter

실제로 본 논문에서 제안하는 영상시스템의 성능을 평가하기 위해서는 광대역 G필터로 촬영한 RYGCB 베이어 영역의 영상이 필요하다. 그러나 본 논문의 실험에서는 도쿄 공대의 연구실에서 제작한 5개 대역 다중 스펙트럼 영상 데이터 집합을 사용했다[12]. 이 데이터 집합은 전부 12 장면으로 구성되어 있으며, 각각 1824x1368의 크기 R, O, G, C, B의 5개 대역 영상과 컬러 비교를 위한 sRGB 영상을 제공한다.

Fig. 5.

Multispectral image dadaset[12]

실험에서는 도쿄 공과대학의 데이터셋 ROGCB에서 오렌지 색상 채널을 인접한 노란색 채널로 간주하고, 이를 적용하여 제안한 영상시스템의 RYGCB 다중 스펙트럼 영상으로 사용했다. 다음의 내용은 RYGCB의 다중 스펙트럼 영상을 얻기 위한 시나리오를 식 (1)과 연관하여 설명한다.

식 (1)의 열화 과정 H_k를 사용해 저해상도 영상을 취득하기 위해서 그림 1에서 제신한 것과 같이 다양한 방향성 직사각형 조리개 마스크의 중심 위치가 동일하도록 정렬된 마스크 휠을 사용해서 영상을 취득한다고 가정한다. 조리개 마스크 휠은 9x3 크기의 직사각형 열화를 발생하는데 수평, 수직과 두 개의 대각 방향을 가지며 이러한 방향성 열화를 H_k의 행렬로 나타낸다. 저해상도 영상들 간에는 평행 이동이 없기 때문에 영상정합이 필요하지 않고 부화소 단위의 충분한 배타적인 정보의 활용이 가능하다. 이어서 행렬 D를 사용하여 수평과 수직의 각각 1/2 크기의 영상으로 부표본화를 수행하여 해상도를 낮추고, 마지막으로 행렬 F에 의해서 베이어 샘플링된 저해상도 영상을 생성했다. 제안한 광대역 그린 컬러필터를 적용한 영상을 포함하여 RYGCB의 5개 대역의 다중 스펙트럼 영상을 베이여 영역에서 취득하게 된다.

식 (2)를 해결하기 위한 방법으로 그림 3에 제시한 알고리즘을 적용했다. 8개의 베이어 영역의 저해상도 영상으로부터 초해상도 디모자이킹의 해를 추정하기 위해서 반복적 정칙화 알고리즘을 사용했다. 표 1과 그림 6에 제시한 실험 결과를 얻기 위해서 각 영상별 150회의 반복을 수행했다. 실험에 사용한 정칙화 알고리즘을 위한 매개변수는 반복의 증가치인 β = 0.001, λ₁과 λ₂는 모두 0.00001을 사용했으며, 식 (2)의 고주파 필터는 다음의 커널을 선택적으로 사용했다.

Table 1.

PSNRs for 5-band multispectral imaging(단위: dB)

Fig. 6.

Experimental results of the proposed superresolution and demosaicking (left column: original 5-band dataset RYGCB images in sequence, right column: original image sRGB, mosaic RGGB, mosaic YGGC, demosaicked image by [8], the results of the proposed algorithm, but the second to fourthird images in the right column are doubled for comparison)

그림 6에서는 실험에서 사용한 다중 스펙트럼 영상 중에서 1번 나비 영상의 RYGCB 원영상과 sRGB 변환 영상을 나타냈고, 식 (1)에 의해 열화된 저해상도 모자이크 RGGB와 YGGC 영상을 결과 영상과 품질을 비교하기 위해서 2배 확대해서 제시했다. 또한 [8]의 디모자이킹 결과 sRGB 영상을 2배 확대해 제시하여 본 논문에서 제안한 초해상도 디모자이킹 결과 영상 sRGB 영상과 주관적으로 비교했다. [8]과 본 논문에서 제안한 기술을 비교하기 위해서 식 (1)로 저해상도 영상으로 변환하고 [8]의 알고리즘으로 처리한 디모자이킹 결과 영상을 제시했다. 그러나 이 방법은 디모자이킹 처리만 수행하는 알고리즘이기 때문에 여전히 낮은 해상도를 나타내어 제안한 알고리즘과 직접 비교는 어렵다.

표 1에서는 제안한 기술의 성능을 검증하기 위해서 5 대역 RYGCB 영상 세트를 사용하여 초해상도 디모자이킹 결과에 대한 각 스펙트럼 대역별 PSNR과 평균치를 제시했고, 컬러 영상의 가시적 비교를 위해서 RYGCB 영상을 sRGB로 변환하여 PSNR을 제시했다. 표 1에서 보는 것과 같이 다중 스펙트럼 영상에서 sRGB의 PSNR 값이 각 채널의 PSNR 평균값에 비해 낮게 나타나는 원인은 색상 공간 변환 과정에서의 정보 손실, 채널 간 상관성, 색상 인식의 비선형성 등에 의해서 발생한다.

V. 결 론

본 논문에서는 단일 센서 카메라를 사용하여 다중 스펙트럼 영상을 취득하기 위한 새로운 영상시스템 구조를 제안했다. 이 시스템은 광대역 그린 컬러 필터 마스크를 활용하여, 베이어 영역에서 RYGCB의 5개 대역 정보를 포함하는 영상을 생성할 수 있다. 이러한 색정보의 모자이크 패턴은 기존 베이어 CFA 및 다중 스펙트럼 시스템과는 다른 형태를 가지고 있기 때문에 이에 적합한 디모자이킹 기법과 초해상도 복원을 통합하는 새로운 적응적 정칙화 기법을 제안했다. 제안된 시스템에서 취득한 저해상도 영상들은 전역적인 움직임이 없고 각기 다른 방향성의 열화만을 가지므로, 부화소 단위의 움직임 추정과 정합 과정 없이도 초해상도 영상 복원이 가능하다. 제안하는 정칙화 기반 초해상도 알고리즘에 컬러 보간 제약조건을 추가함으로써, 베이어 영역에서 취득한 저해상도 영상을 사용하여 디모자이킹과 초해상도 복원을 동시에 처리할 수 있다.

향후 연구에서는 초해상도 디모자이킹 복원을 위한 초기 영상으로 그린 채널 영상을 생성하기 위해서 다양한 적응적 영상 보간 기술을 사용해서 반복적 알고리즘의 수렴성을 가속화하는 방법과 반복적 방법 이외의 필터링 방법을 고려하여 실용성을 높일 수 있는 연구로 확장하기를 기대한다.

References

• S. C. Park, M. K. Park, and M. G. Kang, "Super-resolution image reconstruction: A technical overview", IEEE Signal Processing Magazine, Vol. 20, No. 3, pp. 21-36, May 2003. [https://doi.org/10.1109/MSP.2003.1203207]
• M. Elad and A. Feuer, "Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images", IEEE Transactions on Image Processing, Vol. 6, No. 12, pp. 1646-1658, Dec. 1997. [https://doi.org/10.1109/83.650118]
• B. K. Gunturk, J. Glotzbach, Y. Altunbasak, R. W. Schafer, and R. M. Mersereau, "Demosaicking: Color filter array interpolation", IEEE Signal Processing Magazine, Vol. 20, No. 3, pp. 21-36, May 2003. [https://doi.org/10.1109/MSP.2005.1407714]
• S. Farsiu, M. Elad, and P. Milanfar, "Multiframe demosaicing and super-resolution of color images", IEEE Transactions on Image Processing, Vol. 15, No. 1, pp. 141-159, Jan. 2006. [https://doi.org/10.1109/TIP.2005.860336]
• M. Trimeche, "Color demosaicing using multi-frame super-resolution", Proc. European Signal Processing Conference, Lausanne, Switzerland, Aug. 2008.
• J. Shin, "Regularization-based Superresolution Demosaicing using Aperture Mask Wheels", Journal of Broadcast Engineering, Vol. 23, No. 1, pp. 146-153, Jan. 2018. [https://doi.org/10.5909/JBE.2018.23.1.146]
• L. Miao and H. Qi, "The design and evaluation of a generic method for generating mosaicked multispectral filter array", IEEE Transactions on Image Processing, Vol. 15, No. 9, pp. 2780-2791, Sep. 2015. [https://doi.org/10.1109/TIP.2006.877315]
• Y. Monno, S. Kikuchi, M. Tanaka, and M. Okutomi, "A practical one-shot multispectral imaging system using a single image sensor", IEEE Transactions on Image Processing, Vol. 24, No. 10, pp. 3048-3059, May 2015. [https://doi.org/10.1109/TIP.2015.2436342]
• J. Shin, "Multi-spectral Imaging-based Color Image Reconstruction Using the Conventional Bayer CFA", Journal of Broadcast Engineering, Vol. 16, No. 3, pp. 561-565, May 2011. [https://doi.org/10.5909/JEB.2011.16.3.561]
• K. He, J. Sun, and X. Tang, "Guided Image Filtering", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 35, No. 6, pp. 1397-1409, Jun. 2013. [https://doi.org/10.1109/TPAMI.2012.213]
• G. Jeon, "Bayer pattern image demosaicking method and apparatus based on multi-directional weighted interpolation and guided filter", KR Patent, No. 10-1700928, 2017.
• TokyoTech 5-band Multispectral Image Dataset, http://www.ok.sc.e.titech.ac.jp/res/MSI/MSIdata.html, [accessed: Jan. 10, 2024]