디지털 인라인 홀로그램 기술을 활용한 휴대용 수질 분석 시스템의 설계

2.1 디지털 인라인 홀로그램

디지털 인라인 홀로그램은 Digital Hologram Microscopy(DHM), Lens-free On-chip Microscopy, 무 렌즈 단층 촬영 등으로 불리고 있으며, 기존의 광학현미경에 비해 높은 Field-Of-View(FOV)를 갖는 장점이 있다. 이 기술은 저렴한 장치 구성비용으로 소형화된 장치를 설계 가능하다. 따라서, 최근 고성능, 고효율성 및 소형화를 특징으로 하는 임베디드 시스템에 다양하게 적용할 수 있다. 또한, 센서에 대한 비용을 높일 경우 고해상도의 회절 영상을 촬영할 수 있기 때문에 딥러닝 모델 트레이닝에 활용되고 있다[2]. 과거에는 고가의 CCD 센서를 사용하여 장치를 설계하였기 때문에 비용 효율성이 부족했던 반면, 근래에는 CMOS 센서의 발전으로 저비용으로도 24~30mm²의 큰 FOV를 갖는 시스템을 설계할 수 있어 디지털 인라인 홀로그램과 관련된 연구가 가속화되고 있다[11].

그림 1은 대표적인 무 렌즈 단층 촬영 장치의 일반적인 설계를 나타낸 것이다. Light source는 390nm~600nm의 다양한 광원의 설정과 평면 입사파를 생성하기 위한 디퓨저 및 50~200㎛의 핀홀이 주로 사용된다[8][11]. 또한, 레이저와 반사판을 이용하여 평면파를 핀홀로 입사시키는 전통적인 방법도 존재한다[4]. Sample plate의 경우, 사용자의 편의에 따라 슬라이드 글래스와 커버 글래스에 표본을 주입한 후 촬영할 수 있다.

Fig 1.

Design of lens-free inline hologram microscope

단, 광원과 촬영 센서 사이의 거리가 글래스의 두께에 따라 미세하게 변화하므로 재구성 식의 상수값은 장치의 설정에 맞게 유동적으로 바뀌어야 한다. Sensor plate는 CMOS 센서 혹은 CCD 센서를 사용하여 구성하며, 센서의 촬영 면적과 가격이 정비례하는 만큼 FOV와 가격 간의 타협이 필요하다.

그림 1과 같은 설계를 통해 촬영된 회절 영상을 재구성한 결과 영상의 객체정보를 y값(출력)으로 표현한 후, 회절 영상을 x값(입력)으로 하여 딥러닝 모델 트레이닝에 사용하는 연구가 보고된 바 있다[2]. 딥러닝 모델 트레이닝의 경우 입력 영상의 품질에 따라서 모델의 추정치가 영향을 받는 경우가 많다. 그러므로 입력 영상을 제공하는 회절 영상 촬영 시스템의 설계에 관한 연구가 더욱 중요해지고 있다.

재구성 연산은 Fast Fourier Transform(FFT) 연산을 사용하는 만큼 그 복잡도로 인해 높은 병렬 컴퓨팅 자원을 필수로 한다. 따라서, 별도의 병렬 연산 처리 서버가 구성되어야 한다. 이를 뒷받침하는 최근 임베디드 GPU의 발전으로 Jetson TX 시리즈 등의 개발보드를 사용할 경우, 고성능의 병렬 컴퓨팅 시스템의 개발이 가능하다. 그리고 임베디드 GPU 모듈에 캐리어 보드를 부착함으로써 소형화도 가능하다. 하지만, 임베디드 GPU 보드의 경우는 발열 제어를 위해 전력을 제한하여 사용하기 때문에, 메인스트림 급 GPU와 비교해 그 성능이 다소 제한되는 단점이 존재한다. 본 논문에서는 이러한 단점을 극복하기 위한 재구성 연산 방법[8][11][12]을 시스템에 적용함으로써 소형화된 시스템에서도 수 분 내에 연산을 수행할 수 있게 되었다.

2.2 세그멘테이션

디지털 홀로그램의 재구성 연산의 과정에서 객체의 영역을 추출하는 것(세그멘테이션)은 결과 영상의 품질과 연산속도 향상에 매우 밀접한 관련이 있다. 이는 위상 복구 알고리즘에서 디지털 회절 영상이 표현할 수 없는 위상을 재구성 연산을 통해 복원하는 것을 말한다. 최근의 재구성 연산은 10~30번의 반복 연산을 통해 결과를 도출할 수 있다[8], 재구성의 결과 영상의 품질을 높이기 위해 반복 과정의 첫 번째에서 약하게 복원된 위상값을 일부 검출하여 그 주변부의 픽셀을 확장하는 세그멘테이션의 과정이 필수적이다.

세그멘테이션은 특정한 임계값(Threshold)를 설정한 다음, 각 픽셀에 대해 지역적 표준편차를 계산한 후, 그 표준편차 값이 임계값을 넘어선 경우 객체가 존재하는 영역으로 확장하는 방법[8]이 존재한다. 이 방법의 경우 일정한 크기 분포를 갖는 초미세 폴리에틸렌, 실리카, 폴리프로필렌 비드와 같은 표본이 투입된 영상을 촬영할 때 효과적으로 적용될 수 있다. 또 다른 방법은 반복 재구성 연산을 수행하기 전에 홀로그램 이미지에서 프레넬 근사식을 통해 복소장 응답 신호의 영상을 생성한 후, 각 픽셀에 대한 지역적 분산을 계산하여 객체 영역을 세그멘테이션하는 방법[13]이다. 이 방법 또한 특정한 임계값을 필요로 하며 분산 계산이 포함된 만큼, 1MP 이하의 작은 영상에서만 그 성능이 입증된다. 최근에는 세포 후보군을 찾기 위해 정규화된 홀로그램[14]에서 가우시안 블러링과 프리윗 경계 검출을 통한 객체 세그멘테이션 방법이 소개되었다[2].

상기 기술한 방법들은 모두 특정한 크기 분포를 갖는 객체 샘플에 대한 이미지를 처리하기 위해 설계자가 임계값을 정적 변수로 설정하게 되므로 수중 입자와 같이 불규칙한 객체를 포함하고 있는 표본을 다루는 경우를 위한 새로운 세그멘테이션 기법의 연구가 필요하다.

3.1 영상 촬영 장치

디지털 인라인 홀로그램 기술을 활용하기 위한 광 회절 영상 촬영 장치를 설계하기 위하여 그림 1에서 나타낸 바와 같은 기초 설계를 진행하였다. 먼저, 광원의 선택은 Laser diode 혹은 Light-Emitting-Diode(LED)를 선택할 수 있다. LED는 공급업체에 따라 40~120도의 Beam Angle을 갖고, 400~600nm의 파장을 갖는다. 본 시스템에서는 3~3.3v, 420nm의 특성을 갖는 SMD형 LED를 사용하였다.

LED에서 발생하는 광 파장이 핀홀에 입사하기 전, 디퓨저를 사용하여 평면파를 생성해야 한다. 따라서, 평면파를 생성하기 위해 Ground Glass Diffuser(1.0“, 600GRIT, DG10-600, 350-700nm, Thorlabs. Inc)를 사용하였다. 디퓨저를 통과한 광 파장은 약 70%의 투과율로 핀홀에 입사하게 된다.

핀홀은 촬영 장치의 크기에 따라 50~200㎛의 크기를 선택할 수 있으며, 본 시스템에서는 Precision Pinhole(P100D, Diameter:0.100mm, Circularity:>99%, Thorlabs. Inc)을 사용하였다. 이후, 핀홀을 통과한 광 파장은 산란하여 영상 촬영 센서로 투과되기 시작한다. 영상 촬영 센서는 Area Scan CMOS Module(ON Semiconductor MT9P031, 2.2μm, 5MP, 1/2.5”, daA2500-14uc, Basler AG)를 사용하였다. 본 영상 촬영 센서의 경우 USB 3.0의 인터페이스를 제공하므로 다른 개발 기기로의 이식성이 높고 자체 Pylon 패키지와 프로그래밍 가이드를 제공하므로 x86, arm 등의 여러 가지 임베디드 시스템의 환경에서 개발자가 의도하는 프로그램의 제작이 용이한 장점을 갖고 있다. 그리고 C++, Java 등의 플랫폼에서도 활용이 가능하기 때문에 활용도가 높다.

3.2 통합 시스템 설계

3.1절에서 기술한 바와 같은 회절 영상 촬영 장치를 효율적으로 구동하기 위해 ARM 기반의 프로세서를 탑재한 라즈베리파이 3과 터치 디스플레이를 사용하였다. 통합 인터페이스의 환경은 Python 3(3.6)와 GUI 라이브러리인 Kivy를 활용하여 구성하였다. Kivy는 파이썬 기반의 GUI 라이브러리로 OpenGL을 활용한 크로스 플랫폼 GUI 환경을 구성할 수 있어 모바일 디바이스에 구현된 인터페이스를 이식할 수 있다. 또한, MIT 라이센스를 채택하고 있어 상업적으로도 이용이 가능한 장점이 있다.

그림 2는 본 제안하는 시스템의 실제 설계품을 나타낸 것이다. 설계품은 약 200mm(W)×120mm(H)×125mm(D)의 크기를 갖고 있으며, 무게는 약 2kg으로 휴대가 용이한 시스템이다. 외형의 디자인은 초기 아크릴로 구성한 것에서 발전하여 3D 프린터를 사용하여 디자인하였다.

Fig. 2.

Sample device of integrated system

사용자는 그림 2(a)에서 왼쪽에 위치한 표본 투입구로 원하는 표본을 투입할 수 있으며, 이후 그림 2(b)와 같은 인터페이스를 사용함으로써 재구성 연산 및 결과 영상 확인이 가능하다. 그림 2(d)의 하단에 위치한 배터리 충전 포트와 상태 표시창을 통해 배터리의 충전 및 상태를 확인할 수 있다. 또한, 실험실에서 더욱 다양한 실험과 구성 변경을 위해 그림 2(d)에서 보이는 촬영 모듈만 시스템에서 별도로 분리하여 사용할 수 있다.

그림 3은 사용자 입력을 기반으로 한 통합 GUI 인터페이스를 나타낸 것이다. 사용자는 부팅과 동시에 구동된 인터페이스를 통해 촬영을 수행할 수 있다. 촬영된 이후에는 연산 명령을 통해 별도의 연산 보드에서 재구성 연산이 완료된 영상을 수 분 이내에 확인할 수 있다. 사용자가 확인하는 촬영 영상의 해상도는 터치 디스플레이가 지원하는 해상도에 의존하기 때문에 기존의 800x600 에서 1024x614 해상도로 변경하여 적용하였다.

Fig. 3.

Integrated GUI interface based on user input

GPU가 탑재된 Nvidia Jetson TX 시리즈는 인공지능 및 자율주행 등에 널리 활용되고 있다. 본 시스템에서는 Jetson TX2 모듈과 별도의 캐리어 보드(Orbitty Carrier, Connect Tech. Inc)를 장착하여 구성하였다. 해당 캐리어 보드는 12V의 입력으로 완벽한 CUDA 구동 성능을 보이므로 소형화에 가장 적합하다. TX2의 경우 Denver 2코어를 기존 ARM 4코어에 추가한 프로세서 형태를 보이나, Denver 2코어를 비활성화한 MAX-P ARM 모드에서 가장 높은 성능을 보이기 때문에, MAX-P ARM 모드로 상시 구동할 수 있도록 설정하였다. 그리고 라즈베리파이 3에서 촬영된 회절 영상과 결과 영상을 저장하기 위하여 TX2에서 Network File Storage(NFS)로 저장공간을 공유한 후, 라즈베리파이 3에서 공유된 저장공간에 접근하여 사용자가 영상들을 확인할 수 있도록 구성하였다.

전원 공급의 경우, 앞서 기술한 2가지의 임베디드 보드에 전원을 각각 별도로 공급할 수 있도록 18650 배터리 8셀(4x2, total 5200mAh, Samsung. SDI)을 구성한 후, 각 구동보드에 전압 레귤레이터를 부착하여 입력 전압을 각각 5v와 12v로 설정하였다.

그림 4는 통합 시스템의 구동 과정을 나타낸 것이다. 사용자는 시스템의 부팅과 동시에 통합 GUI 플랫폼을 통해 촬영 및 연산을 수행할 수 있다. 부팅의 경우 NFS와 연산 서버의 프로그램이 먼저 구동되어야 하므로 TX2를 먼저 부팅시키고 그 이후 라즈베리파이 3을 부팅하게 된다. 사용자는 그림 3과 같은 GUI 인터페이스를 통해 회절 영상을 촬영하고 재구성 연산을 수행한 후 결과를 확인할 수 있다. 이 과정은 프로그램 무한 반복으로 시스템이 종료될 때까지 수행된다. 각 연산 처리 간에는 락의 개념이 사용되어 동시에 여러 장의 회절 영상을 재구성하는 것은 지원되지 않는다.

Fig. 4.

Running process of integrated system

3.3 연산처리

연산은 2장의 입력 영상(배경, 객체)으로부터 수행된다. 배경영상의 경우 표본이 투입되지 않은 상태의 영상이며, 객체 영상은 표본이 투입된 상태의 영상이다. 재구성 연산의 최종 목표는 디지털화된 영상에서 표현되지 못한 위상값을 복구하는 것이며 복구식을 표현하면 다음과 같다.

식 (1)에서 r_s는 입력신호, R₀(r_s)는 재구성 연산의 결과 영상의 실수부를 의미하며 O₀(r_s)는 허수부를 의미한다. 허수부는 재구성 연산을 통해 추정치로 제공되어야 하므로 다음과 같은 추가 연산이 필요하다.

식 (2)는 입력 복소장의 구성식을 나타낸 것이며, i는 허수 상수를 의미하며, Ω(r_s)는 입력신호 r_s에 대한 임펄스 응답을 나타낸 것이다. 결과 영상의 정보를 나타내는 (R₀(r_s) + O₀(r_s))에 절대값을 계산하면 진폭을 구할 수 있다. 진폭은 정규화된 홀로그램의 제곱근으로 다음과 같이 표현할 수 있다[14].

식 (3)에서 H(r_s)는 객체 영상, B(r_s)는 배경 영상을 의미한다[14]. 본 재구성 알고리즘은 역전파 알고리즘을 기반으로 하기 때문에 재구성을 위한 전처리 과정에서 식 (3)과 같은 연산을 재구성 연산 초기에 먼저 진행한다. 배경 영상과 객체 영상을 나눈 후 제곱근을 구하는 방법은 객체 영상에서 배경 영상에 존재하는 노이즈를 일부 제거하고 좀 더 선명한 입력 영상을 만들 수 있다. 식 (3)의 결과값은 결과 영상 신호의 진폭만을 표현하는 절대값이므로 결과적으로 복소수는 제거되고 실수 형태의 결과가 도출된다. 재구성 연산이 궁극적으로 도출해야 하는 영상은 식 (1)과 같이 표현됨에 따라 식 (2)를 수행하여 역전파를 진행해야 한다.

재구성 연산은 식 (3)의 결과 영상을 입력으로 사용하며 컨볼루션 연산의 속도 향상을 위해 주파수 도메인에서 연산이 진행된다. 이후, 앞서 구성한 광원의 파장이나 핀홀의 크기, 센서 픽셀사이즈 등의 상수값을 다음의 광 전파식에 대입하여 예상되는 홀로그램 패턴을 생성한다.

식 (4)는 광 전파의 임펄스 응답을 나타낸 수식이다[15]. 식 (1-3)에서 나타낸 바와는 달리 식 (4)에서는 신호가 아닌 영상 배열에 기반하여 서술한다. 즉, h[x,y;z₁]는 Ω(r_s)와 일치한다. 식 (4)에서 λ는 광 파장, z는 센서와 핀홀 간의 거리, x, y는 각각 공간 축에서의 주파수이다. exp 연산의 경우 자원소모량이 높은 만큼 CUDA 언어를 사용하여 GPU로 병렬화하였다.

그림 5는 광 전파 임펄스 응답을 영상으로 시각화 한 것이다. 이 영상은 프로그램 내에서 복소수 영역을 포함하고 있으나, 영상 저장에서는 실수형으로 저장된 것이다. 이 영상을 반복 재구성 연산에서 식 (3)의 결과 영상과 함께 컨볼루션 연산을 진행한다. 컨볼루션 연산을 통해 회절 영상의 신호에서 원하는 주파수만을 강조하게 된다.

Fig. 5.

Visualized Image of impulse response from wavelength

앞서 2.2절에서 언급한 바와 같이, 첫 번째 반복의 과정에서는 일부 복구된 위상을 근거로 한 세그멘테이션 기법이 활용된다. 세그멘테이션 기법은 기존에 픽셀 기반 마스킹 연산에서 벗어나 영상 전체를 정수 1로 설정한다. 그리고 제한된 연산성능을 극대화하면서 결과를 도출하기 위해 전역 제약조건을 적용한다.

식 (5)는 본 시스템에서 사용되는 제약조건을 나타낸 것이다[8]. 여기서 t는 |R_[x,y]|로 R_[x,y]는 재구성 연산의 실수부를 의미하며 복소수를 포함한다. 절대값을 계산함으로써 위상값이 존재하는 영역만 강조하고 이외에는 기존값을 실수형으로 유지한다. 즉, C_[x,y]는 제약조건이 반영된 영상을 의미한다. 식 (5)에서 도출되는 결과를 재구성 연산의 각 반복이 종료되기 직전에 적용함으로써 반복 재구성의 입력 영상으로 재사용되며, 마지막 반복일 경우 결과 영상이 된다.

즉, 식 (2)를 수행하기 위한 Ω(r_s)를 각 반복의 도입부에는 홀로그램 패턴을 사용하고, 종료 직전에는 C_[x,y]를 적용함으로써 2번의 컨볼루션 연산이 수행된다. 본 알고리즘을 통하면 빠른 시간 내에 영상 품질을 높일 수 있어 경량화된 시스템을 위한 최적의 선택이 된다.

4.1 캘리브레이션 슬라이드 촬영

성능 평가에 앞서 광학 현미경과 제안하는 시스템의 촬영성능을 객관적으로 평가하기 위해 TCM-L Stage Micrometer, 0.01mm Line Resolution Microscope Calibration Target을 광학 현미경과 제안하는 시스템에서 각각 촬영한 후, 재구성 연산을 수행한 후 비교하였다. 본 실험에서는 i7-8700K, 32GB, Nvidia GTX 1080ti GPU을 탑재한 시스템이 사용되었다.

그림 6은 캘리브레이션 슬라이드를 활용하여 촬영한 영상을 나열한 것이다. 그림 6(a)는 광학현미경을 통해 촬영한 것을 순서대로 40배율, 100배율, 400배율로 나열한 것이다. 그림 6(b)는 제안하는 시스템에서 촬영한 RAW 영상이다. 그림 6(c)는 식 (3)과 2장의 영상(배경, 객체)을 활용하여 노이즈를 일부 제거한 영상이다. 그림 6(d)는 제안하는 시스템에서 재구성한 영상의 결과를 나열한 것이다. 그림 6(e)는 재구성 초기에 영상의 품질을 높이기 위하여 4배 확대한 것이다. 일반적으로 영상의 크기가 4배 증가하면 연산 시간도 4배 증가한다고 예상해볼 수 있다. 이에 관한 실험은 4.3절에서 논한다.

Fig. 6.

Experiment result of calibration slide and reconstruction

4.2 수질 촬영 실험

수질 촬영 실험은 제안하는 시스템의 촬영성능을 평가하기 위해 주변에서 쉽게 구할 수 있는 강 유역의 물 표본을 선택하였다.

그림 7은 소양강 유역에서 수집한 수질 표본을 이용하여 광학 현미경과 본 시스템의 촬영 사진을 비교한 것이다. 그림 7(a)는 400배율의 광학 현미경으로부터 촬영된 것이며, 그림 7(b)는 본 시스템에서 촬영된 회절 영상, 그림 7(c)는 본 시스템에서 재구성이 완료된 영상을 나타낸다. 그림 7(a)와 7(b)의 형상이 상이한 것은 같은 표본을 광학 현미경과 본 시스템에서 두 번 촬영하기 때문에 운반 중 일부 회전이 일어난 것이다. 그림 7에 나타나있는 객체는 수질 속에 존재하는 엽록소로써, 그림 7(a)와 비교하여 그림 7(c)는 100μm정도의 객체를 재구성하는 것이 가능함을 보이고 있다. 하지만, 그 이하의 크기를 갖는 영역에 대해서는 분해능이 떨어지는 단점을 가지고 있다. 그 이유는 앞서 서론에서 언급한 것처럼 비용 효율성을 중시하는 본 논문의 특성상 $300 미만의 저해상도 CMOS 센서를 사용했기 때문이다.

Fig. 7.

Water sample image of Soyang river basin

4.3 실행시간 비교 실험

본 시스템은 앞선 3장에서 언급한 바와 같이 임베디드 GPU가 탑재된 Jetson TX2 보드를 사용한다. 따라서, 수 분 내에 본 시스템을 구동하는 것을 평가하기 위하여 메인스트림 GPU인 NVIDIA Geforce GTX 1080ti와의 비교 실험을 진행하였다. 구동에 사용된 프로그램은 GUI와 촬영의 과정이 생략된 프로그램으로 이외의 전처리와 재구성 연산 및 저장의 과정은 동일하다. 측정은 리눅스 시스템에서 광범위하게 사용되는 time 명령어로 수행하였다.

그림 8은 본 시스템에서 구동되는 알고리즘의 실행시간을 비교 분석한 그래프의 결과를 나타낸 것이다. 그림 8에서의 각 표식은 연산을 10회씩 수행한 후 평균치를 나타낸 것이다. 그림 8의 X축은 촬영된 5MP(2592 x 1944)의 크기를 갖는 영상의 배율값을 나타내며, Y축은 연산 시간을 나타낸다. 그림 8에서 Jetson TX2의 4배율의 실행시간은 해당 보드가 갖는 메모리의 한계점(8GB)을 넘어서기 때문에 측정이 불가능했다. Jetson TX2는 OS 실행부와 GPU 메모리가 공유되는 통합 메모리 방식으로 설계되어 있다. 따라서, 일반 GPU와 비교하여 메모리 사용량이 높은 편이다. 일반 GPU인 GTX 1080ti의 경우 4배율의 크기에서도 4분 내에 재구성이 완료되므로 그 성능이 높으며, Jetson TX2에서의 연산은 120~720초의 편차를 가지고 있다. 앞서 그림 6에서 나타낸 바와 같이 1배율과 4배율의 영상의 차이점을 육안으로 식별하기 어렵기 때문에 1배율로 설정하는 것이 가장 최적화된 설정이 된다.

Fig. 8.

Computation time comparison of GTX 1080ti and Jetson TX2