엣지 및 쌍입방 정보 융합을 통한 다중 단계 네트워크 기반 적외선 영상의 초해상화

Ⅰ. 서 론

적외선 영상은 물체가 방출하는 열복사 에너지를 감지하여 온도 분포를 시각적으로 표현하는 기술이다[1]. 가시광 영상이 제공하지 못하는 열 특성 정보를 포함하고 있기 때문에 야간 보행자 탐지, 산업 현장 안전관리 등 다양한 응용 분야에서 핵심적인 역할을 수행한다. 그러나 대부분의 적외선 센서는 하드웨어적 한계로 인해 해상도가 낮고, 고해상도 센서의 제작 비용이 매우 높다는 문제가 존재한다[2]. 고화질의 적외선 영상이 필요한 상황에서 강제로 해상도를 향상시키면, 구조적 세부 정보가 손실되고, 물체의 경계가 흐려지며, 질감 표현이 불충분해지고 블록 형태의 노이즈가 관찰될 수 있다.

초해상화 기술은 저해상도 영상을 입력으로 받아 고해상도 영상을 복원하는 기술로, 전통적 방식에서는 쌍입방(Bicubic), 쌍선형(Bilinear) 등의 보간 기반 기법이 주로 사용되었다. 하지만 이러한 보간법은 고주파 성분 복원이 불가능하며, 경계나 질감 영역에서 뚜렷한 세부 복원을 기대하기 어렵다. 최근에는 딥러닝을 이용한 초해상화 연구가 발전하면서 다양한 모델이 제안되었다[3]-[6]. 그러나 적외선 영상은 가시광 영상과 달리 텍스처가 단순하고 대비가 낮기 때문에, 일반적인 RGB 기반 초해상화 모델을 그대로 적용할 경우 세부 구조 손실이 발생하고, 학습 과정에서 경계 정보가 충분히 반영되지 않는다는 한계가 존재한다.

특히 적외선 영상에서는 물체의 형상과 열 분포의 변화가 경계 영역에서 두드러지게 나타나므로, 경계 정보를 명시적으로 강화하는 것이 고품질 복원에 있어 핵심적 요소이다. 이에 따라 본 연구에서는 Sobel 필터를 활용하여 적외선 영상의 경계 성분을 추출하고, 이를 입력 영상과 결합함으로써 구조적 정보가 보존되도록 설계하였다. 또한 단일 단계 네트워크로 저해상도 입력을 고해상도로 직접 매핑하는 기존 방식은 복잡한 비선형 관계로 인해 학습이 불안정하고, 세부 표현력이 부족하다는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 두 단계로 구성된 다중 단계 초해상화 네트워크를 제안한다. 이를 통해, 엣지 정보를 활용한 입력 강화와 Bicubic 정보 융합을 통해 적외선 영상의 구조적 세부를 유지하면서 해상도를 4배 향상시키는 것을 목표로 한다.

2절에서는 초해상화와 관련한 연구들을 분석하고 3절에서는 제안 방법에 대하여 자세히 설명한다. 4절에서는 실험을 통해 정량적, 정성적으로 평가를 진행하고, 5절에서는 결론과 추후 연구에 대해 소개한다.

Ⅱ. 관련 연구

Jiang et al.[3]은 열화상 영상의 고유한 저화질 문제를 해결하기 위해 다중 모달 센서 융합 기반 초해상화 복원 방법을 제안하였다. 해당 연구는 열화상 영상의 해상도 향상을 위해 주요 특징 인코딩, 초해상화 복원, 고주파 세부 융합 서브 네트워크로 구성된 새로운 네트워크 구조를 설계하였으며, 다양한 모듈을 통해 복잡한 패턴의 특징 표현력을 향상시켰다. 이 방법은 다중 센서 정보를 활용해 열화상 영상의 고주파 성분을 복원함으로써 기존 단일 영상 기반 초해상화의 한계를 보완하였다.

Mandanici et al.[4]는 여러 장의 영상을 이용하는 다중 영상 기반 초해상화 기법을 제안하였다. 이 방법은 서로 약간 다른 위치에서 획득한 다수의 적외선 영상을 정합하여 관측의 중복성을 활용하고, 업샘플링 비율 4배의 초해상도 영상을 생성하였다. 특히 영상 정합 단계에서 발생할 수 있는 오정합을 자동으로 식별하는 알고리즘을 제시하였으며, 이를 통해 복원 영상의 정확도를 향상시켰다.

Wu et al.[5]는 적외선 영상의 결함 초해상화 알고리즘을 제안하였다. 적외선 열영상 시스템의 변조 전달 함수를 물리적 사전 정보로 활용하여 영상의 블러 커널을 생성하였다. 이후, 이 블러 커널을 기반으로 한 초해상화 복원 알고리즘을 통해 영상의 해상도를 향상시키고, 결함 영역의 경계와 세부 정보를 명확히 복원하였다.

Si et al.[6]은 드론 영상의 저해상도 문제를 해결하기 위한 패치 단위의 반복 초해상도 기법을 제안하였다. 입력 영상을 패치 단위로 분할한 후, 멀티스케일 처리와 잔차 학습을 반복적으로 수행하는 구조를 설계하였다. 또한 Residual MultiBlock 구조를 적용하여 고주파 세부 정보를 효과적으로 복원하였다.

연구들을 종합적으로 고찰해 보면, 기존의 초해상화 연구들은 서로 다른 접근법을 통해 해상도 향상 문제를 해결하고자 하였음을 알 수 있다. 그러나 대부분의 방법이 다중 영상, 외부 센서, 혹은 복잡한 물리 모델에 의존하기 때문에 실제 응용 단계에서 제약이 따르는 한계가 존재한다. 이에 비해 본 연구는 단일 적외선 영상 입력만으로도 고품질 복원이 가능한 구조를 제안하였다. 제안된 네트워크는 엣지 정보 강화, 다중 단계 복원, 그리고 Bicubic 융합을 하나의 통합 구조로 결합함으로써, 구조적 보존, 세부 복원, 정합 안정성을 동시에 확보하였다.

Ⅲ. 제안 방법

본 연구에서 제안한 네트워크는 두 단계로 구성된 다중 단계 초해상화 구조를 기반으로 한다. 입력으로 사용되는 적외선 영상은 (100, 100)의 저해상도 형태이며, 출력은 (400, 400)의 고해상도 복원 영상이다. Stage 1은 Edge-Enhanced SR 모듈로, 입력 영상의 경계 정보를 명시적으로 활용하여 구조적 세부를 보존하며 해상도를 복원한다. Stage 2는 Fusion U-Net 모듈로, Stage 1의 결과와 Bicubic 보간 영상을 결합하여 고품질의 최종 출력을 생성한다. 그림 1은 제안하는 모델의 전체적인 구조를 나타낸다.

Fig. 1.

Overall architecture of proposed network

먼저 Stage 1에서는 입력 영상으로부터 Sobel 필터를 통해 수평 및 수직 방향의 그라디언트를 계산하고, 이를 기반으로 엣지 맵을 생성한다. 이 엣지 맵은 원본 영상과 채널 방향으로 결합되어 [B, 2, 100, 100] 형태의 입력으로 구성된다. 이렇게 결합된 입력은 네트워크가 경계 정보를 명시적으로 인식하도록 하여, 물체의 윤곽과 세부 구조를 보존하는 데 도움을 준다. 특징 추출기는 MSRB와 SEBlock으로 구성된다. MSRB는 Padding이 1인 3×3 합성곱 필터, Padding과 Dilation이 2인 3×3 합성곱 필터, 그리고 Padding이 2인 5×5 합성곱 필터를 병렬로 구성함으로써 다양한 수용영역에서 특징을 추출할 수 있도록 설계되었다. 각 경로의 출력은 채널 방향으로 결합되며, 1×1 합성곱을 통해 병합된다. 이러한 구조는 적외선 영상의 다중 해상도 특성을 효과적으로 반영하며, 고주파 세부와 저주파 구조 정보를 동시에 학습할 수 있다. SEBlock은 채널 Attention 메커니즘을 기반으로 하며, Global Average Pooling을 수행한 뒤 두 개의 1×1 합성곱과 ReLU, Sigmoid 활성화를 통해 채널별 중요도를 재조정한다. 이를 통해 유효한 특징 채널은 강화되고, 불필요한 채널은 억제되어 표현 효율성이 향상된다.

업샘플링 과정은 Transposed Convolution이 포함된다. 해상도는 (100, 100)에서 (200, 200), 이후 (400, 400)으로 점진적으로 확대되며, 각 업샘플링 단계 이후에는 MSRB와 SEBlock을 포함한 블록을 통해 세부 보정이 수행된다. 이러한 다단계 업샘플링 방식은 단일 업샘플링 보다 학습 안정성이 높고, 세부 구조가 손실되는 것을 방지한다. 마지막 단계에서는 1채널 합성곱과 Sigmoid 활성화를 적용하여 0~1 범위로 정규화된 SR 영상을 출력한다.

Stage 2는 Fusion U-Net 구조를 기반으로 하며, Stage 1의 SR 결과와 Bicubic 보간 결과를 결합하여 보다 정밀한 복원을 수행한다. 입력은 [B, 2, 400, 400] 형태로 구성되며, Encoder는 입력 특징을 압축하고 전역 문맥 정보를 학습한다. Bottleneck 구간에서는 다시 MSRB와 SEBlock을 사용하여 다중 스케일 특징과 채널 Attention 정보를 결합한다. Decoder는 Transposed Convolution을 이용하여 해상도를 복원하며, Encoder의 대응 계층과 Skip Connection을 통해 저수준 특징을 전달받아 세부 정보를 유지한다. 마지막 부분에는 1채널 합성곱과 Sigmoid 활성화를 거쳐 최종 적외선 영상을 출력한다.

Ⅳ. 실험 및 결과 분석

본 연구에서는 제안된 네트워크의 성능을 검증하기 위해 M3FD Detection Dataset[7]을 사용하였다. 이 데이터셋은 다양한 환경 조건(실내, 야외, 주야간, 사람, 차량 등)을 포함하는 적외선 영상으로 구성되어 있으며, 실험의 일반성을 확보하기 적합하다.

원본 적외선 영상은 고해상도 기준 영상으로 사용하기 위해 400×400 크기로 조정하였으며, 이에 대응되는 저해상도 입력 영상은 고해상도 영상을 100×100 크기로 축소하여 생성하였다. 이를 통해 4배 초해상화 문제를 구성하였으며, 각 데이터는 LR-HR 쌍으로 정렬하여 학습에 사용하였다. 전체 4,200쌍의 영상 중 3,360쌍은 학습 데이터로, 840쌍은 테스트 데이터로 사용하였다. 데이터 분할 시 동일 장면 또는 유사 장면이 학습 및 테스트 데이터에 중복 포함되지 않도록 구성하여 평가의 신뢰성을 확보하고자 하였다.

실험 환경의 경우 Ubuntu 18.04 LTS에서 RTX 3090 2대의 GPU를 사용하여 학습을 수행하였다. 모델은 PyTorch 프레임워크 기반으로 구현하였으며, Adam 옵티마이저를 사용하였다. 손실 함수는 L1 손실을 기반으로 하였으며, 배치 크기는 4, 학습 에포크는 40으로 설정하였다.

표 1은 제안된 네트워크의 Stage 1과 Stage 2 구조가 초해상화 성능에 미치는 영향을 정량적으로 분석한 결과를 나타낸다. ○와 ×는 사용 유무에 대한 의미이다. 성능 평가는 PSNR(Peak Signal-to-Noise Ratio)과 SSIM(Structural Similarity Index Measure) 지표를 기준으로 수행하였으며, 각각 영상의 왜곡 정도와 구조적 유사도를 측정하는 대표적인 평가 지표이다. PSNR은 복원된 영상이 원본 영상에 얼마나 근접한지를 수치적으로 표현하는 척도로, 값이 높을수록 노이즈와 왜곡이 적음을 의미한다. SSIM은 인간의 시각적 인식 품질을 반영하는 지표로, 1에 가까울수록 구조적 일관성이 높다는 것을 의미한다.

Table 1.

Quantitative evaluation of stage architectures

표 1의 결과에서 볼 수 있듯이, Stage 1 또는 Stage 2만 단독으로 사용할 경우 각각의 성능에는 일정한 한계가 존재한다. 먼저 Stage 1을 비활성화하고 Stage 2만 활성화한 경우, PSNR 30.81, SSIM 0.902의 결과를 나타냈다. 이는 Fusion U-Net 기반 구조가 Bicubic 보간 결과를 효율적으로 융합하여 전역적인 일관성과 부드러운 질감 복원에는 일정 부분 효과가 있음을 보여준다. 그러나 경계나 세부 구조의 명확성이 부족하여, 전체적으로 미세한 형태 정보가 다소 손실되는 경향을 보였다. 이는 엣지 정보를 직접적으로 활용하지 않았기 때문에 제한된 결과로 해석된다.

반면, Stage 1만 활성화하고 Stage 2를 비활성화한 경우에는 PSNR 29.89, SSIM 0.889로, 가장 낮은 성능을 보였다. 이는 Edge-Enhanced SR 모듈이 Sobel 엣지 맵을 통해 구조적 특징을 강화하는 데 초점을 맞추었으나, 전역적인 복원 정밀도나 질감의 부드러움이 부족하기 때문이다. Stage 1은 국부적인 고주파 정보를 강조하는 데 효과적이지만, 전체 영상의 공간적 일관성을 유지하는 데는 한계가 있으며, 일부 영역에서 과도한 경계 강조로 인해 미세한 잡음이 발생할 수 있다.

가장 우수한 성능은 두 단계가 모두 활성화된 경우로 PSNR은 31.29, SSIM은 0.907의 결과로 나타났다. 이러한 결과는 Stage 1에서 엣지 정보를 활용하여 구조적 세부를 보존하고, Stage 2에서 Bicubic 업샘플링 결과를 융합함으로써 전역적 일관성과 국부적 선명도를 동시에 확보한 결과로 분석된다. 즉, Stage 1이 경계 기반의 특징 강화 역할을 수행하고, Stage 2가 전반적인 복원 정밀도와 질감 보정 기능을 담당함으로써 상호 보완적인 관계를 형성한다.

결과적으로, 제안된 두 단계 구조는 각각의 장점을 결합하여 적외선 영상의 특성에 최적화된 복원 성능을 발휘하였다. 엣지 기반 입력 강화는 구조적 일관성을 유지하는 데 핵심적인 역할을 하였으며, Bicubic 정보 융합은 세부 복원 과정에서 발생할 수 있는 과도한 경계 강조를 완화하여 시각적으로 자연스러운 출력을 가능하게 했다. 이러한 분석을 통해, 다중 단계 네트워크 구조가 단일 단계 초해상화 방식보다 학습 안정성과 시각적 품질 모두에서 우수함을 입증할 수 있었다.

그림 2는 정답 영상(a), Bicubic 보간 결과(b), 그리고 제안된 엣지 강화 기반 다중 단계 네트워크의 출력 영상(c)을 시각적으로 비교한 결과를 나타낸다. 전반적으로 제안된 모델은 기존 보간 기반 방법보다 구조적 세부 복원력과 경계 명확성, 질감 표현력에서 뚜렷한 향상을 보여준다.

Fig. 2.

Visual comparison between Input and output images (a) Ground truth, (b) Bicubic interpolation result, (c) Proposed model output

그림 2(a)는 고해상도의 정답 영상으로, 실제 고해상도 적외선 영상의 구조적 세부와 경계가 완전하게 보존된 상태를 보여준다. 사람의 실루엣, 건물의 윤곽, 도로 표면의 질감 등 모든 요소가 명확하게 구분되며, 온도 분포의 미세한 변화도 부드럽고 자연스럽게 표현되어 있다.

그림 2(b)는 Bicubic 보간을 통해 생성된 결과로, 입력 영상을 단순히 보간하여 해상도를 확대한 방식이다. 공간적 해상도는 증가하였으나 실제로 새로운 정보가 생성되지 않기 때문에, 정답 영상(a)에 비해 여전히 경계가 흐릿하고 윤곽선이 뭉개진 형태를 보인다. 사람의 형체나 차량의 윤곽이 부자연스럽고, 텍스처 영역의 세부 표현이 부족하여 전반적으로 평면적인 느낌을 준다. 또한 일부 영역에서는 인공적인 부드러움이 과도하게 발생하여, 영상의 선명도가 감소하는 현상이 관찰된다.

그림 2(c)는 제안된 엣지 강화 기반 다중 단계 초해상화 네트워크의 출력 영상으로, 정답 영상 그림 2(a)에 근접한 수준의 복원 품질을 보여준다. 사람의 실루엣, 건물의 윤곽선, 도로 표면 등의 세부 구조가 뚜렷하게 복원되었으며, Bicubic 결과 그림 2(b)에서 사라졌던 경계부의 고주파 성분이 효과적으로 재현되었다. 또한 열 분포의 그라디언트 변화가 자연스럽고, 전역적인 부드러움과 국부적 선명함이 조화를 이루는 것이 특징이다. 이는 Stage 1에서 Sobel 기반 엣지 추출을 통해 구조 정보를 강화하고, Stage 2의 Fusion U-Net에서 Bicubic 보간 결과를 융합함으로써 복원 정밀도를 높인 결과로 해석된다.

요약하자면, 그림 2는 제안된 모델이 단순 보간법에 비해 정답 영상 그림 2(a)에 훨씬 근접한 고해상도 복원 결과를 생성함을 시각적으로 입증한다. 특히 경계와 질감 표현의 개선이 두드러지며, 이는 엣지 정보 강화와 Bicubic 융합 구조의 결합이 적외선 영상의 초해상화 성능 향상에 효과적임을 보여준다.

Ⅴ. 결론 및 향후 과제

본 논문에서는 저해상도 적외선 영상의 세부 구조 복원을 위해 엣지 및 Bicubic 정보를 활용한 다중 단계 초해상화 네트워크를 제안하였다. 제안된 모델은 Sobel 엣지 추출기를 이용하여 입력 단계에서 경계 성분을 강화하고, MSRB와 SEBlock을 결합하여 다중 스케일 특징을 효율적으로 학습하였다. 단계적으로 해상도를 복원하였으며, Stage 1의 결과를 Bicubic 보간 영상과 융합하는 Fusion U-Net을 도입하여 전역적 문맥과 지역적 세부 정보를 동시에 향상시켰다. M3FD 데이터셋을 이용한 실험 결과, 제안된 네트워크는 PSNR 31.29 dB, SSIM 0.907의 우수한 성능을 보였다.

본 연구에서는 제안된 다중 단계 구조의 효과를 우선적으로 검증하기 위해 Stage 1과 Stage 2의 조합에 따른 ablation study를 수행하였다. 다만 PSNR과 SSIM은 복원 영상의 왜곡 정도와 구조적 유사도를 평가하는 대표적인 지표지만, 인간의 시각적 품질이나 국부적 경계 복원 특성을 충분히 반영하는 데에는 한계가 있다. 따라서 향후 연구에서는 추가 지표를 함께 적용하고, 다양한 기준 모델과의 비교를 통해 제안 방법의 성능을 보다 종합적으로 검증할 예정이다.

향후 연구에서는 실제 산업 현장이나 엣지 디바이스 환경에서의 활용을 고려하여 모델 경량화 기법을 적용하고, 실시간 환경에서도 효율적으로 동작할 수 있는 구조로 개선할 예정이다. 그리고 다양한 적외선 파장대와 촬영 환경에 대한 성능을 검증하여 실제 응용 환경에서 안정적으로 활용 가능한 적외선 영상 초해상화 모델로 발전시킬 계획이다.

Acknowledgments

This work was supported by the Technology Innovation Program (00227306) funded By the Ministry of Trade, Industry & Energy (MOTIE, Korea) and the regional innovation system & education (RISE)-(Regional Growth Innovation LAB) program through the Gyeongbuk RISE Center, funded by the Ministry of Education (MOE) and the Gyeongsangbuk-do, Republic of Korea(2026-rise-15-105).

2025년도 한국정보기술학회 추계종합학술대회에서 발표한 논문(적외선 영상의 경계 정보 보존형 초해상화 기법에 관한 예비 연구)[8]을 확장한 것임

References

• R. Usamentiaga, P. Venegas, J. Guerediaga, L. Vega, J. Molleda, and F. G. Bulnes, "Infrared thermography for temperature measurement and non-destructive testing", Sensors, Vol. 14, No. 7, pp. 12305-12348, Jul. 2014. [https://doi.org/10.3390/s140712305]
• S. Zhu, C. Zhou, and Y. Wang, "Super resolution reconstruction method for infrared images based on pseudo transferred features", Displays, Vol. 74, Art. no. 102187, Mar. 2022. [https://doi.org/10.1016/j.displa.2022.102187]
• Y. Jiang, Y. Liu, W. Zhan, and D. Zhu, "Improved thermal infrared image super-resolution reconstruction method base on multimodal sensor fusion", Entropy, Vol. 25, No. 6, Art. no. 914, Jun. 2023. [https://doi.org/10.3390/e25060914]
• E. Mandanici, L. Tavasci, F. Corsini, and S. Gandolfi, "A multi-image super-resolution algorithm applied to thermal imagery", Applied Geomatics, Vol. 11, No. 3, pp. 215-228, Feb. 2019. [https://doi.org/10.1007/s12518-019-00253-y]
• S. Wu, B. Gao, W. L. Woo, Y. Yu, and Y. Yang, "Defect super-resolution algorithm based on infrared thermal imaging physical kernel", NDT & E International, Vol. 154, Art. no. 103368, Sep. 2025. [https://doi.org/10.1016/j.ndteint.2025.103368]
• J. Si and S. Kim, "Patch-Based Iterative Super-Resolution Network for Enhancing the Quality of Drone-Captured Image", Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 18, No. 4, pp. 263-270, Aug. 2025. [https://doi.org/10.17661/jkiiect.2025.18.4.263]
• J. Liu, X. Fan, Z. Huang, G. Wu, R. Liu, W. Zhong, and Z. Luo, "Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection", Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, Nashville, TN, USA, pp. 5802-5811, Jun. 2025.
• J. Si, H. Lee, and S. Kim, "A Preliminary Study on Edge-Preserving Super-Resolution Techniques for Infrared Image", Proceedings of KIIT, Jeju, Korea, pp. 48-48, Nov. 2025.