멀티 비디오 스트리밍을 지원하는 열화상 카메라의 설계 및 구현

Ⅰ. 서 론

열화상 카메라는 적외선 이미지를 사용하여 물체 표면에서 발생하는 적외선을 감지함으로써 영상을 합성하는 기술이다. 열화상 카메라는 다양한 응용분야에 활용될 수 있으며, 열 데이터와 온도분포를 이용하여 물체의 비파괴 검사를 비롯하여, 딥러닝을 이용하여 영상의학에서도 활용이 가능하다[1][2]. 또한 나이트 비젼과 같이 차량에서 빛이 없는 환경에서 야간에 물체를 인식하기 위해서 활용이 가능하다. 사용되기도 한다[3].

적외선 서모그래피(Thermography) 기술은 비 접촉식 온도 측정 방법으로, 적외선 이미지를 사용하여 적외선 전자기 스펙트럼의 영역에서 방사되는 강도를 측정하여 물체 표면에 열을 포착, 표시하고 기록하는 기술이다. 비접촉식 온도 측정 장치의 장점은 많은 분야에 응용이 가능하며, 미세한 표면의 온도를 측정하거나 움직이는 물체의 경우 또는 기존의 온도 측정 방법으로는 직접 접촉 할 수 없는 경우에 사용할 수 있다. 적외선을 이용하여 온도를 측정하는 가장 대표적인 장치는 고온측정기(Pyrometer)이며, 이 계측기는 한 지점의 온도만 측정할 수 있다. 반면에 적외선 또는 열화상 카메라는 한 지점의 온도뿐만 아니라 관심 영역(ROI, Region Of Interest) 영역 내에서 최고/최저 및 평균 온도를 측정하는 등, 더 많은 정보를 얻을 수 있는 장점이 있다. 열화상 카메라는 이러한 특징으로 기계류[4] 또는 전력 분배 시스템 [5]의 상태 모니터링, PCB의 모니터링[6], 재료의 피로파괴 평가[7]와 같은 여러 응용 분야에 유용하게 활용되고 있다.

또한 컴퓨터 비전은 오래전부터 매우 중요한 연구 주제였으며, 최근 인공지능이 발전하면서 컴퓨터 비전과 인공지능을 이용한 영상처리에 대한 연구가 활발하게 진행되고 있고, 적외선 영상처리 또한 컴퓨터비전의 한 분야가 되었다. 이에 대한 예로 딥 뉴럴 네트워크(Deep neural network)와 적외선 영상을 사용하여 유방암을 진단하는 방법을 개발하였으며[1], 낮은 조도 때문에 일반 카메라로는 물체를 감지 할 수 없는 환경에서 보행자를 감지하는 자동차 야간 투시경으로 사용되는 등[3] 적외선 영상처리가 많은 분야에 응용되고 있다.

본 논문에서는 시스템 하드웨어, 멀티 스트리밍 프로토콜 및 GUI 응용 프로그램을 포함하는 열화상 카메라 시스템의 개발을 수행하였다. 개발된 카메라를 사용하면 많은 사용자가 RTSP(Real Time Streaming Protocol) 스트리밍, TCP/IP 스트리밍 및 HDMI 출력을 사용하여 적외선 영상을 볼 수 있으며, 인터넷을 통해 보안 카메라 및 다양한 목적의 영상 감시 카메라로 사용될 수 있다.

본 논문은 6개의 장으로 구성되어 있으며, 1장 서론에 이어서 2장에서는 적외선과 열화상 카메라의 원리, 그리고 이와 관련된 이론적 배경을 설명한다. 3장에서는 인터넷을 통해 비디오를 스트리밍하거나 HDMI에 동시에 영상을 출력하기 위한 열화상 카메라의 하드웨어 및 소프트웨어 시스템 구현에 대해 설명하며, 4장에서는 정확한 온도 측정을 위한 온도 교정 파라미터와 흑체(Black body)를 사용하여 온도 교정하는 과정에 대해서 설명한다. 5장에서는 구현된 카메라에 대한 영상 및 온도 측정 결과를 제시하고 6장에서 결론을 맺는다.

Ⅱ. 연구 배경

전자기파 스펙트럼은 X-레이, 자외선(Ultra violet), 가시광선(Visible), 적외선(Infrared), 극초단파(Micro wave), 전파(Radio wave)로 구분되어 있다. 그중 적외선 영역은 가시광선(0.38㎛~0.78㎛)과 근접한 0.7㎛~15㎛ 대역으로, 빛의 속도로 공간을 이동하며 빛과 같이 반사, 굴절, 흡수 및 방사 등의 현상을 나타낸다[8]. 모든 물체는 모두 절대온도 0K(-273℃) 이상의 온도를 가지고 있으며, 그 온도에 대응하는 적외선 에너지를 방사한다[9]. 에너지의 양은 물체가 가지고 있는 온도에 따라 달라지며, 온도가 높을수록 더 많은 적외선 에너지를 방사하고, 온도가 낮을수록 더 적은 적외선 에너지를 방사한다. 그림 1은 전자기파 스펙트럼과 스펙트럼 내에서 적외선의 범위를 나타낸 것이다.

Fig. 1.

Electromagnetic spectrum and infrared radiation

열화상 카메라는 물체 표면에서 발생하는 적외선을 감지함으로써 영상을 합성하는 장치이며, 사람의 눈으로는 보이지 않는 물체에서 발생하는 감지할 수 있다. 열화상 카메라에는 그리드에 배열된 수천 개의 검출기 픽셀로 구성된 광학 시스템이 포함되어 있으며, 각 픽셀은 적외선 에너지를 전자 신호로 변환 한 다음 카메라 프로세서로 처리하여 영상화한다.

그림 2는 열화상 카메라의 구조를 보여준다. 물체로부터 방사된 적외선 에너지는 광학렌즈를 통해 모이며, 필터를 이용하여 장파 영역을 통과시킨다. 필터를 통과한 장파 영역의 적외선 에너지는 검출기(Detector)로 향하고 검출기는 감지된 적외선 복사 에너지를 전기적신호로 변환된다. 변환된 신호는 회로를 통해 증폭되거나 조절되어 온도의 분포를 나타내는 열화상 영상으로 출력되는 구조이다.

Fig. 2.

Principle of infrared camera

적외선 카메라는 본질적으로 온도가 아닌 적외선 방사(Radiance)를 측정하며, 적외선 서모그래피(Infrared thermography)는 적외선 에너지의 분포를 영상화함으로써 의료 진단 및 비파괴 검사에 활용된다. 따라서 온도 측정의 정확성을 높이는 것이 필요하며, 이를 해결하기 위해 적외선 카메라는 효과적인 흑체 방사 및 온도를 기반으로 측정과 교정을 해야 하며, 3장에서 자세히 설명되어 있다. 결과적으로, IR 카메라는 운송, 인간 및 동물과 같은 따뜻한 물체에서 방출된 적외선을 볼 수 있게 함으로써 야간 투시 또는 물체의 온도 측정에 사용될 수 있다.

Ⅲ. 열화상 카메라의 구현

3.1 멀티 스트림을 지원하는 열화상 카메라

그림 3은 본 연구에서 개발하는 카메라의 멀티 스트리밍(Mlti-streaming)의 흐름을 보여준다. 적외선 센서에서 검출되는 적외선 데이터는 카메라의 데이터는 FPGA로 전송되며, 데이터는 두 개의 출력으로 분리되어 프로세서로 전달된다.

Fig. 3.

Thermal camera supporting multi-streaming

하나의 출력은 적외선 원시 데이터(Raw data)이며, 다른 하나는 FPGA에서 논리회로로 영상처리되어 YUV 형식의 영상데이터이다. 열화상 카메라는 적외선 데이터를 영상화할 뿐만 아니라 온도 계측용으로도 사용될 수 있으며, 원시 데이터에는 온도 정보를 포함하고 있다. FPGA의 두 데이터 출력은 프로세서의 독립적인 두 비디오 입력 인터페이스에 병렬로 전송된다. 원시 데이터와 YUV 형식이 비디오 데이터를 받은 프로세서에서는 그림 3에서와 같이 3개의 출력으로 스트리밍된다.

첫 번째 출력은 FPGA에서 받은 원시 데이터를 그대로 TCP/IP 소켓 인터페이스로 호스트 컴퓨터로 전송이 되어 소프트웨어로 영상 처리를 하고, 또한 대상 물체의 온도를 측정할 수 있다. 두 번째 출력은 FPGA에서 받은 YUV 형식의 영상 비디오를 HDMI/NTSC 비디오로 출력하며, 세 번째는 YUV 비디오를 H.264로 인코딩하여 RTSP 스트리밍 한다.

3.2 시스템 구조와 하드웨어

가. IE640 적외선 엔진

그림 4는 열화상 카메라의 구조를 보여준다. 사용된 적외선 검출기는 VGA급 IE640 적외선 엔진이 사용되었다. IE640은 640×480의 해상도로 30fps로 출력하며, 17㎛ 볼로미터 검출기를 사용하여, 검출기 제어, 불균일 보정, 영상처리 등을 수행하여 병렬 디지털로 적외선 데이터를 출력한다[10].

Fig. 4.

Structure of thermal camera

나. FPGA

카메라 시스템은 FPGA를 사용하여 적외선 데이터를 실시간으로 수신하고 영상처리를 하기 위해서 SRAM 버퍼에 프레임을 저장할 수 있다. IR 카메라의 데이터는 온도 정보로 구성되므로, 데이터는 온도 정보를 전달하고, 동시에 영상을 보기 위해서 FPGA 내부에서 실시간으로 영상처리를 하여 YUV 형식으로 프로세서로 전달한다.

그림 5는 FPGA에서 영상처리하는 과정을 보여준다. 데이터가 입력되면 영상처리를 하기 위해서 SRAM에 이중으로 버퍼링되며, 히스토그램 평활화(HE, Histogram Equalization)와 AGC(Autogain Control)을 수행한다. HE와 AGC 처리가 된 후에 영상 잡음을 제거하고 화질을 선명하게 하여 영상을 개선한다.

Fig. 5.

Image processing in a FPGA

다. DM388 미디어 프로세서

DM388은 TI(Texas Instrument)의 영상처리 전용 프로세서이며 그림 6은 DM388의 내부 구조를 보여준다. 여기에는 그림 6과 같이 HOST-A8, VPSS CORTEX-M3 및 VIDEO CORTEX-M3의 세 가지 주요 코어와, 하나의 DSP 프로세서가 코어가 포함된다. HOST A8은 CORTEX-A8 arm 코어로 임베디드 리눅스를 사용하여 사용자가 RTSP 스트리밍과 소켓 데이터 전송과 같은 응용 프로그램을 실행할 수 있다. BIOS6 OS를 실행하는 VPSS CORTEX-M3는 카메라 드라이버, 캡처 드라이버, 디스플레이 드라이버, 이미지 리사이징 및 카메라 설정을 담당한다. BIOS6 OS를 실행하는 VIDEO CORTEX-M3에서는 H264, MPEG4, MJPEG 인코딩/디코딩과 같은 이미지 처리를 수행한다.

Fig. 6.

Functional structure block of DM388

그 외에도 DM388 IPNC에는 프레임당 35개의 얼굴을 감지할 수 있는 얼굴 인식 엔진, 이미지의 노이즈를 제거하여 이미지의 품질을 높이는 노이즈 필터 엔진이 포함된다[11].

3.3 멀티 스트리밍을 위한 소프트웨어 개발

DM388에서 캡처, 인코딩/디코딩 또는 비디오 출력은 각 프로세서 내에서 독립적인 스레드에서 수행된다. 또한 IPNC RDK 소프트웨어는 실시간으로 이미지와 비디오를 처리하기 위해서 체계적으로 구성이 가능한 파이프 처리 기능을 제공한다[12]. TI는 DM388 IPNC 내에서 프로세서 간 데이터 흐름을 연결하기 위해 사용자가보다 쉽게 공유하고 데이터를 프로세서에 분산하여 애플리케이션을 개발할 수 있는 소프트웨어 패키지를 제공한다.

그림 7은 프로세서 간 통신에 사용되는 소프트웨어 블록 다이어그램을 보여준다. DM388의 모든 프로세서 코어는 많은 링크를 공유할 수 있다. 각 링크는 BIOS6 또는 Linux 운영 체제를 기반으로 하는 별도의 스레드에서 실행되며, 하나 이상의 링크를 동시에 실행할 수 있다. DM388의 각 코어에는 Syslink/IPC가 포함되어 있는데, 입력 큐에서 데이터를 프레임을 수신하는 것과 데이터 프레임을 출력 큐로 전송(DM388 프로세서간에 데이터 프레임 전송)하는 기능을 담당한다. 주 프로세서인 Cortex-A8을 사용하여 여러 링크에서 데이터 흐름 체인을 연결하고 제어 할 수 있다.

Fig. 7.

Software stack of DM388

그림 8은 멀티 스트리밍 프로토콜에 대한 DM388 내에서의 데이터 흐름을 보여주며, 다른 방식으로 비디오를 동시에 스트리밍 할 수 있다. 그림 7에서와 같이 VPSS-M3은 CaptureLink를 통해 단방향 원시 비디오 데이터를 가져온 다음 IPC 프레임 링크를 통해 Cortex A8로 전달된다. 이 때 IPC 프레임 링크는 VPSS-M3에서는 출력되는 데이터 프레임의 링크로 사용하고, Cortex A8에서는 데이터 프레임을 수신하는 링크로 사용된다.

Fig. 8.

Set up links for multi-streaming

한편, 카메라 링크로부터의 데이터 입력은 앞에서 설명한 것과 같이 YUV 데이터 형식으로 수신하기 때문에 더 복잡하다.

그림 8에서 표시한 것과 같이 YUV 데이터는 카메라 링크를 통해 DupLink 및 Merge link로 전달된다. 비디오 코딩의 이후에는 SWOSD(SoftWare On Screen Display)를 사용하여 DSP 비디오 알고리즘으로 처리된다.

그 다음 인코딩 된 비디오는 DupLink에 의해 두 개의 비디오 데이터로 복사가 되며, 하나는 HDMI로 비디오를 출력하기 위한 것이고, 다른 하나는 RTSP 스트리밍을 하기 위해서 HOST A8로 전달된다. HDMI로 비디오를 출력하기 전에 스케일러 링크를 사용하여 데이터 프레임을 1280×720으로 조정 한 다음 디스플레이 링크를 사용하여 출력한다. 반면, RTSP 프로토콜을 통한 비디오 스트림 이전에는 IPC 링크를 사용하여 데이터 프레임이 ISS로 전송되고 ISS는 데이터 프레임을 H.264 형식으로 인코딩하고 IPC 비트 링크로 Cortex-A8로 다시 전송된다.

Ⅳ. 온도 측정의 정확도 향상

앞에서 설명한 것과 같이, 열화상 카메라를 이용하여 물체의 적외선 에너지를 기준으로 온도를 측정할 수 있다. 온도는 물체의 특성과 측정 환경에 영향을 받는다. 물체의 온도는 다음 식 (1)과 같이 계산 될 수 있다.

식 (1)에서 W_tot는 카메라에 의해 수신 적외선의 총 방사량이며, 대상 물체의 방사(E_obj), 주변 물체에 의한 방사 및 물체에 의해 반사(E_refl) 및 주변 대기의 방사(E_atm)의 세 가지 소스에 의해 결정된다.

식 (1)에 의해서 온도 측정은 대기의 매개 변수(대기 온도 및 대기의 투과율 포함)와 물체의 매개 변수(물체의 방사 온도와 반사 온도)에 의해 영향을 받는다. 식 (1)에서, 대기 온도는 온도계를 사용하여 얻을 수 있다. 또한, 물체와 카메라의 거리와 대기의 습도로부터 대기의 투과율을 쉽게 측정할 수 있다. 일반적으로 대기의 투과율은 1에 가까우므로 항목 (1-τ_atm)은 0에 매우 가깝다. 따라서 대기의 매개 변수는 온도 측정에 큰 영향을 미치지 않는다. 그럼에도 불구하고, 물체의 방사율과 반사 온도는 온도 측정에 큰 영향을 미친다. 특히 같은 온도에서 흑체에 비해 방사율이 낮고 반사 온도가 높은 물체일수록 물체의 방사율과 반사온도가 크게 영향을 미친다. 따라서 이 두 매개 변수는 매우 정확하게 측정되어야 한다[13].

그러나 적외선 이미지에서 온도는 측정 된 방사 에너지에 의해서만 계산되는 것이 아니며, 카메라 내부 온도 및 물체에서 방출하는 적외선 에너지의 방사율에 따라 달라진다. 따라서 측정 온도가 정확하기 위해서는 기준 온도 교정 장치로 흑체(black body)를 이용하여 적외선 카메라에 대한 온도 교정이 필요하다.

ε_obj : 물체의 방사(Emissivity of the object), σ : 상수(Constant Value)
τ_atm : 대기의 투과율(Transmittance of the atmosphere), τ_obj : 물체의 온도(Temperature of the object)
T_refl : 물체의 반사 온도(Reflected temperature of object), T_atm : 대기 온도(Atmosphere temperature)

적외선 카메라의 온도 교정은 그림 9와 같다. 흑체는 특정 온도로 고정이 되며, 이 때 카메라의 측정 데이터를 읽어야 한다. 흑체에서 발생하는 모든 온도에서 카메라에서 측정되는 데이터는 GUI에서 온도로 변환하는 데 사용되는 매핑 테이블로 업데이트 되어야 한다. 흑체에서 발생하는 온도의 범위는 10℃에서 90℃이다.

Fig. 9.

Temperature calibration using black body

그림 10은 카메라에서 측정된 데이터와 흑체 온도의 함수관계를 보여준다. 이 함수는 식 (2)와 같은 방정식으로 표현 될 수 있다.

Fig. 10.

Function of measurement data vs blackbody temperature

그림 11은 온도 교정을 위한 환경을 보여주며, 흑체의 온도는 컴퓨터로 제어되며 제어 온도는 ±0.001℃ 단위까지 제어가 가능하다. 적외선 카메라는 이더넷을 통해서 컴퓨터에 연결되었으며, 카메라에서 원시 데이터를 받아서 GUI에서 온도를 표시한다.

Fig. 11.

Environment for temperature calibration

그림 12의 다이어그램은 적외선 카메라의 온도 교정 과정을 보여준다. 본 교정에서 사용된 흑체의 온도 교정 범위는 10℃~90℃ 이므로 이 구간에 대해서 온도 교정을 수행하였다. 먼저 흑체를 켜고 교정 온도를 설정하고 해당 온도에 도달 할 때까지 가열한다.

Fig. 12.

Temperature calibration procedure using blackbody

둘째, 온도가 10℃로 설정을 하고 카메라에서 받은 적외선 원시 데이터를 GUI로 보낸다. 그 후, 원시 데이터는 지정된 온도에 따라서 업데이트 된다. 마지막으로, 온도가 90℃에 도달할 때 까지 같은 과정을 반복하며, 식 (1)의 계산에 의해서 원시 데이터와 해당 온도를 나타내는 테이블을 업데이트 한다.

Ⅴ. 테스트 결과

구현된 카메라는 FPGA에서 하드웨어로 영상처리를 하고 DM388 프로세서에서 멀티 스트리밍을 위한 코드를 최적화함으로써 RTSP 스트리밍과 HDMI 출력 모두 초당 30프레임을 출력할 수 있다.

또한 그림 13과 같이 향상된 영상을 위해서 소켓 프로그래밍으로 데이터를 수신하고 원시 데이터를 GUI를 개발하였다.

Fig. 13.

GUI of thermal camera

또한 GUI를 사용하면 ROI (Region Of Interest)를 정하고 해당 영역의 온도 분석을 할 수 있다. 또한 GUI에서는 소프트웨어로 영상을 개선함으로써 향상된 영상을 볼 수 있었다.

그림 14는 멀티 스트리밍 출력을 보여준다. 그림에서 RTSP 스트리밍, TCP/IP 스트리밍 및 HDMI 출력을 각각 보여준다. 또한 원시 데이터를 온도로 변환하는 GUI를 개발했으며 마우스를 사용하여 온도 데이터를 분석 할 영역을 선택할 수 있다. 온도 교정은 카메라를 흑체에서 약 30㎝ 거리에서 했으며, 10℃에서 90℃ 사이에서 1℃씩 증가시키며 실행했다. 표 1은 5℃ 간격으로 설정온도와 측정된 온도와 오차 값을 보여주며, 평균 0.26℃의 오차를 보였다.

Fig. 14.

Multi-streaming of thermal camera

Table 1.

Comparison between configured and measured temperature

Ⅵ. 결 론

본 논문에서는 멀티 스트리밍 프로토콜을 지원하는 적외선 카메라의 설계와 구현에 대해서 설명하였다. 하드웨어 시스템에는 FPGA에서 영상을 실시간으로 처리하며, DM388 미디어 프로세서는 멀티 스트리밍을 위해 사용되었다. 또한 정확도가 높은 수준의 온도 계측을 위해서 흑체를 이용해서 온도 교정을 하였으며, 교정 결과 10℃~90℃ 범위내에서 GUI에서 측정된 온도가 평균 0.26℃의 오차를 보였다. 본 논문에서는 열화상을 기반으로 인공 지능을 사용한 물체 감지, 야간 컴퓨터 비전, 추적 등과 같은 많은 응용 분야에 활용할 수 있는 적외선 카메라 시스템을 개발하였으며, 기존이 열화상 카메라가 야간 감시용, 온도 계측용 그리고 비파괴 검사용과 같이 특정 목적으로 개발되는 반면에 본 연구에서 개발된 카메라는 멀티 스트리밍을 제공하는 고화질의 열화상 카메라 및 높은 정확도를 갖는 비파괴 검사용 또는 의료용 온도 계측용 등의 다양한 목적으로 활용될 수 있을 것으로 기대된다.

Acknowledgments

2018년 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임. (2018R1D1A1B07049146)

References

• Mambou. SJ, Maresova. P, Krejcar. O, Selamat. A and Kuca. K, "Breast Cancer Detection Using Infrared Thermal Imaging and a Deep Learning Model", Sensors, Vol. 18, No. 9, pii: E2799, Aug. 2018. [https://doi.org/10.3390/s18092799]
• Soonghwan Ro, Nam Vu Hoai, Bokgil Choi, and Nguyen Manh Dung, "Sinkhole Tracking by Deep Learning and Data Association", Journal of KIIT, Vol. 17, No. 6, pp. 17-25, Jun. 2019. [https://doi.org/10.14801/jkiit.2019.17.6.17]
• Jeonghyun Baek, Sungjun Hong, Jisu Kim, and Euntai Kim, "Efficient Pedestrian Detection at Night time Using a Thermal Camera", Sensors, Vol. 17, No. 8, pp. 1850, Aug. 2017. [https://doi.org/10.3390/s17081850]
• D. Kim, H. Yun, S. Yang, W. Kim, and D. Hong, "Fault diagnosis of ball bearing within rotational machines using the infrared thermography method", Journal of Korean Society of Nondestructive Testing, Vol. 30, No 6, pp. 558-563, Dec. 2010,
• Glavas H, Jozsa L and Baric T, "Infrared thermography in energy audit of electrical installations", Tehnicki Vjesnik, Vol. 23, No. 5, Oct. 2016. [https://doi.org/10.17559/TV-20150702185559]
• M. Vellvehi, X. Perpina, G.L. Lauro, F. Perillo, and X. Jorda, "Irradiance-based emissivity correction in infrared thermography for electronic applications", Review of Scientific Instruments, Vol. 82, No. 11, pp. 114901, Nov. 2011. [https://doi.org/10.1063/1.3657154]
• M. P. Luong, "Fatigue limit evaluation of metals using an infrared thermographic technique", Mechanics of Materials, Vol. 28, No. 1-4, pp. 155-163, Jul. 1998. [https://doi.org/10.1016/S0167-6636(97)00047-1]
• Michael Vollmer, Klaus-Perter Mollmann, J. H. "Infrared Thermal Imageing", Wiley, 2014.
• Wontae Kim, "Principles and System Configuration of Infrared Thermograpby", Journal of the Korean Society for Nondestructive Testing, Vol. 31, No. 2, pp. 181-188, Apr. 2011.
• iE640 Interface Description Document(IDD), i3system Inc., Dec. 14, 2016
• DM385 and DM388 DaVinci^™ Digital Media Processor datasheet, Texas Instruments Incorporated, 2013.
• IPNC RDK Multi Channel Framework(MCFW) Software User Guide, Texas Instruments Incorporated, 2014.
• Ruben U, Pablo V, Jon G, Laura V, Julio M, and Francisco G. B, "Infrared Thermography for Temperature Measurement and Non-Destructive Testing", Sensors, Vol. 14, No. 7, pp. 12305-12348, Jul. 2014. [https://doi.org/10.3390/s140712305]