딥러닝과 스펙트로그램을 이용한 사람과 동물 분류에 관한 연구

Ⅰ. 서 론

최근 들어, 동물 또는 사람을 구분 및 인식하는 많은 연구들이 진행되고 있다[1][2]. 또한, 요즘에는 다양한 분야에서 동물과 사람을 구분하는 기술을 필요로 하고 있다. 군사분계선 지역처럼 24시간 모니터링을 해야 하는 지역에서는 지역적 특성상 야생동물의 이동이 잦기 때문에 이는 적군을 탐지하고 모니터링 하는 것에 방해가 될 수 있다. 이를 방지하기 위해서는 동물과 사람을 구분하는 기술을 이용하여 근무자의 업무 부담을 줄여주고 모니터링의 효율성을 높일 수 있다. 동물과 사람을 구분하는 기술은 농가에서도 사용될 수 있다. 해마다 야생동물로 인한 농작물 피해가 증가하고 있다는 연구 보고가 많다[3][4]. 동물과 사람을 구분하는 기술을 이용하면 효율적이고 안전하게 야생동물로부터의 피해를 예방할 수 있다. 이처럼 동물과 사람을 구분하는 기술은 민간이나 군에서 유용하게 사용될 수 있다.

최근 연구에는, 광학 카메라를 이용해 객체를 검출하는 연구가 활발히 진행되고 있다[5][6]. 광학 카메라를 이용한 객체 검출은 다양한 분야에서 널리 도입되고 있지만, 기상 상황과 광원의 영향을 많이 받아 밤인 경우나 안개가 끼어 있는 경우에는 객체 식별에 어려움이 있어 성능 저하의 문제가 있다. 레이더 센서는 광학 카메라보다 획득할 수 있는 정보의 양이 적지만 기상 상황과 주야 상황에 영향을 적게 받아 광학 카메라의 한계가 있는 상황에서는 효과적인 객체 구분 시스템을 설계할 수 있다. 실제로 레이더를 이용해 사람의 동작을 인식하고 구분하는 연구[7][8]나 도플러 레이더를 이용해 물체의 상태를 파악하고 모니터링하는 연구[9]가 활발히 진행되고 있다. 또한 도플러 레이더를 이용해서 사람과 여러 종의 보행 스펙트로그램을 비교해보는 연구도 진행되었다[10]. 이처럼 도플러 레이더를 이용하여 물체의 움직임을 측정하고 이를 기반으로 물체를 식별하는 연구가 활발히 진행되고 있다.

본 논문에서는 동물과 사람의 구분 기준 중 하나인 4족 보행과 2족 보행을 도플러 레이더를 이용해 측정하고 이를 CNN 구분기에 학습해 동물과 사람을 보행에 따라 분류하는 기술을 제시한다. 제안하는 기술은 도플러 레이더를 이용해 얻은 DRCS 데이터에 STFT를 적용하여 스펙트로그램 영상을 획득하고 획득한 스펙트로그램 영상으로 CNN 구분기를 학습시킨다[11]. 학습시킨 CNN 구분기를 이용해 구분성능을 테스트한 결과 동물과 사람이 보행 스펙트로그램 이용하여 매우 잘 구분됨을 확인하였다.

Ⅱ. 관련 이론

2.1 도플러 레이더 측정 시스템

그림 1은 동물과 사람의 2족, 4족 보행 측정 실험에 사용된 레이더 측정 시스템의 구성도이다. 2족 보행과 4족 보행에 대한 데이터를 획득하기 위해서 24GHz 도플러 레이더와 DAQ(Data AcQuisition) 모듈을 이용하고 이를 이용해 획득한 데이터를 랩탑(Laptop)에서 Matlab과 Python 코드를 이용하여 신호처리를 수행하였다[12].

Fig. 1.

Configuration of 24GHz radar measurement system

24GHz 도플러 레이더를 이용해 아날로그 I/Q 데이터를 획득하고 DAQ 모듈에서 이를 디지털 데이터로 변환한다. 이후 랩탑에서 STFT를 적용해서 스펙트로그램 영상을 얻어준다. 표 1은 측정을 위해 사용된 레이더 측정 시스템의 파라미터를 나타내주는 표이다[13].

Table 1.

Parameters of radar used for measurement

Ⅲ. 측정 및 실험 결과

3.1 측정 결과

CNN 구분기를 학습시키기 위해서는 많은 양의 데이터가 필요하다. 하지만 본 연구에서는 실제 동물을 대상으로 많은 양의 데이터를 획득할 수 없는 한계가 있어 직접 제작한 4족 보행 모사기를 이용해 동물 보행을 흉내 내고 동물 보행에 대한 스펙트로그램 영상을 획득하였다. 4족 보행 모사기는 그림 2와 같이 동물의 다리 관절 움직임을 흉내 낼 수 있는 구조로 제작하였다. 그림 3에 나온 것처럼 4족 보행 모사기를 제작하기 위해서 실제 개의 관절 움직임을 관찰하고 관절 움직임을 흉내 내었다. 4족 보행 모사기로 동물의 보행을 흉내 낸 결과 실제 개의 보행에 대한 스펙트로그램 영상과 유사한 것을 확인하였다.

Fig. 2.

Quadrupedal movement imitator

Fig. 3.

Real dog joint movements

이러한 결과를 바탕으로 4족 보행 모사기와 2.1절에서 설명한 도플러 레이더 측정 시스템을 이용해 동물의 보행에 대한 스펙트로그램 영상을 획득하였다. 사람 보행에 대한 스펙트로그램 영상은 실제 보행을 통해 획득하였다. 그림 4는 도플러 레이더 측정 시스템을 이용한 4족 보행과 2족 보행을 측정하기 위한 실험의 개념도이다.

Fig. 4.

Conceptual diagram of the experiment

그림 5는 측정 시스템을 이용하여 획득한 스펙트로그램 영상이다. 스펙트로그램 영상에서 보행의 주기를 관찰할 수 있다. 그림 5(b)와 그림 5(c)는 각각 실제 개 보행에 대한 스펙트로그램 영상과 흉내 낸 동물 보행에 대한 스펙트로그램 영상이다. 두 스펙트로그램 영상의 보행 주기를 확인하면 그림 5(a)의 사람 보행에 대한 스펙트로그램 영상의 보행 주기보다 빠른 것을 확인할 수 있다. 이러한 이유는 보행 속도의 차이와 다리 개수의 차이로 인해 발생하였다. 또 사람 보행의 스펙트로그램 영상을 확인하면 한번 보행 시 하나의 피크만을 확인할 수 있고, 개 보행의 스펙트로그램 영상을 확인하면 한번 보행 시 두 개의 피크를 확인할 수 있다. 이는 개와 사람의 관절 움직임과 보행 방법 차이로 인해 발생하였다. 개의 앞발은 그림 3에 나온 것처럼 다리를 들면서 뒤로 이동했다가 전진하면서 빠르게 앞으로 이동해온다. 이러한 빠른 운동은 높은 미세 도플러 주파수를 생성하기 때문에, 다리를 드는 행동과 발이 앞으로 나오는 행동이 순서대로 피크 값으로 생성되는 것을 유추할 수 있다. 사람도 보행 시 이러한 움직임을 가지고 있지만, 개에 비해 느린 속도의 운동을 해서 하나의 피크만을 가진다. 그림 5(c)는 이러한 운동을 고려해서 4족 보행 모사기를 이용해 흉내 내었다. 그림 5(b)와 그림 5(c)는 그림 5(a)에 비해 빠른 보행 주기를 확인할 수 있고, 한 번 보행 시 발생하는 두 개의 피크 값이 나오는 것을 확인할 수 있다. 따라서 실제 개 보행에 대한 스펙트로그램 영상과 흉내 낸 동물 보행에 대한 스펙트로그램 영상이 유사한 특징을 가지고 있는 것을 확인하였다.

Fig. 5.

Three types of walking spectrogram image

3.2 구분 결과

3.1절의 방법을 통해 획득된 각각의 스펙트로그램 영상을 이용하여 CNN 구분기를 설계하였다. CNN 구분기는 사람 보행과 동물 보행을 구분하도록 설계하였다. 표 2는 구분기의 성능을 확인하기 위해 사용된 training 데이터와 test 데이터의 양을 나타낸 것이다. 사람 보행은 ‘human’ 동물 보행은 ‘animal’로 나타낸다. 동물과 사람 보행에 대한 스펙트로그램 영상은 각각 515개와 502개씩 획득하였다. training 데이터와 test 데이터를 7:3 비율로 구분기를 학습시키고 구분 성능을 확인하였다. 표 2와 같이 스펙트로그램을 나누어 구분기를 통해 바로 구분 성능을 확인한 결과 95.3717%의 구분 성능을 확인하였다.

Table 2.

Number of training data and test data

위의 학습 모델을 이용해 혼돈행렬(Confusion matrix)을 이용하여 결과를 도출하였다. 혼돈행렬을 전체 데이터 개수 중에서 상태에 따라 구분이 되는 개수를 파악하기 쉽다. 표 3은 2족/4족 구분기에 대한 혼동행렬 구성도이다. 여기서 True와 False는 구분의 성공과 실패를 나타내고, animal과 human은 4족 보행과 2족 보행을 구분하여 나타낸다. animal을 구분 성공할 경우 ‘True Animal(TA)’, 실패할 경우는 ‘False Animal(FA)’이 된다. 마찬가지로 human을 구분 성공할 경우 ‘True Human(TH)’, 실패할 경우 ‘False Human(FH)’이 된다. 혼돈행렬의 결과는 표 4를 통해서 확인할 수 있다. 혼동행렬의 구분 결과를 보면 human보다 animal의 구분 정확도가 상대적으로 떨어지는 것을 확인할 수 있다. 이는 animal의 데이터 자체가 사람이 동물을 흉내 내어 획득한 데이터이기 때문에 이러한 결과가 나오는 것을 유추할 수 있다. 2족/4족 보행 구분기에 대한 혼돈행렬 구분 정확도는 식 (3)을 이용해 계산이 가능하다.

$\[ P_{Accuracy}\left(\%\right)=\frac{TA+TH}{TA+FA+FH+TH}\times 100 \]$

(3)

Table 3.

Confusion matrix for bipedal and quadrupedal classification

Table 4.

Confusion matrix for bipedal and quadrupedal classification test

식 (3)을 이용해서 계산한 2족/4족 보행 구분기의 구분 결과는 95.3947%인 것을 확인하였다. 구분기를 통해 바로 구분 성능을 확인한 결과와 혼동행렬을 이용해 확인한 구분 성능은 거의 일정한 것을 알 수 있다.

Ⅳ. 결 론

본 논문에서는 도플러 레이더를 이용해 사람 보행과 동물 보행에 대한 DRCS 데이터를 얻고 여기에 STFT를 적용하여 스펙트로그램 영상을 획득하였다. 획득한 스펙트로그램 영상으로 사람과 동물을 구분하기 위해 CNN을 이용하여 구분기를 설계하였다. 동물 보행에 대한 스펙트로그램 영상을 획득하기 위해 실제 동물 보행에 대한 스펙트로그램과 동물 보행 영상을 관찰해 동물 보행을 흉내 낼 수 있는 4족 보행 모사기를 고안하였고 이를 이용해 동물 보행에 대한 스펙트로그램 영상을 획득하였다. 이렇게 획득한 스펙트로그램 영상과 사람 보행에 대한 스펙트로그램 영상으로 CNN 구분기를 학습시키고 구분 성능을 확인한 결과 93.75%의 구분 성능을 확인하였다. 이 연구를 통해 도플러 레이더와 동물과 사람 보행 구분기를 이용해 동물과 사람을 구분할 수 있는 것을 확인하였다. 하지만 본 논문에서는 실제 개 보행에 대한 스펙트로그램 영상만 확인하였기 때문에, 향후 다양한 종의 동물 보행에 대한 스펙트로그램 영상을 확인할 예정이다.

Acknowledgments

이 논문은 2023학년도 한남대학교 학술연구조성비 지원에 의해 연구되었음(No. 2023A068).

본 논문은 2023년 개최된 한국정보기술학회 추계종합학술대회 논문 “도플러 레이더와 2족/4족 구분기를 이용한 모니터링 시스템”을 확장한 것이다. 또 본 연구에 도움을 준 배진우, 오성준, 박석희 학생에게 감사의 말을 전한다.

References

• D. S. Lee and G. M. Park, "Analysis of Transfer Learning Effect for Automatic Dog Breed Classification", Journal of Broadcast Engineering, Vol. 27, No. 1, pp. 133-145, Jan. 2022 [https://doi.org/10.5909/JBE.2022.27.1.133]
• M. Kim and D. H. Park, "Deep learning based Person Re-identification with RGB-D sensors", Journal of The Korea Society of Computer and Information, Vol. 26, No. 3, pp. 35-42, Mar. 2021. [https://doi.org/10.9708/jksci.2021.26.03.035]
• S. H. Park, M. K. Kim, and Y. C. Youn, "Mitigation and Adaptation Strategy to Wildlife Damage in Forest-dependent Rural Communities", Journal of Environmental Policy and Administration Society, Vol. 27, No. 2, pp. 11-37, Jun. 2019. [https://doi.org/10.15301/jepa.2019.27.2.11]
• Y. S. Ha and J. C. Shim, "Wild Animal Repellent System For Preovention of Crop Damage by Wild Boars", Journal of Korea Mulimedia Society, Vol. 24, No. 2, pp. 215-221, Feb. 2021. [https://doi.org/10.9717/kmms.2020.24.2.215]
• A. W. D. U. Shalika and L. Seneviratne, "Animal Classification System based on Image Processing & Support Vector Machine", Journal of Computer and Communications, Vol. 4, No. 1, pp 12-21, Jan. 2016. [https://doi.org/10.4236/jcc.2016.41002]
• H. M. Kim, J. S. Ahn, T. Y. Lee, and B. I. Choi, "Multi-size Object Detection Model in Aerial Images based on Super Resolution Model Sturcture", Journal of Korean Society for Aeronautical and Space Sciences, Vol. 51, No 8, pp 553-562, Aug. 2023. [https://doi.org/10.5139/JKSAS.2023.51.8.553]
• K. J. Baik and B. J. Jang, "Hand Gesture Classification Using Multiple Doppler Radar and Machine Learning", Journal of Korean Institute of Electromagentic Enginerring and Science, Vol. 28, No 1, pp 33-41, Jan. 2017. [https://doi.org/10.5515/KJKIEES/2017.28.1.33]
• M. G. Shin, W. H. Park, H. J. Kim, Y. H. Lee, S. H. Lee, and B. S. Kim, "FMCW Radar-Based Hand Gesture Recognition Technique Using frequency-Weighted MTI", Journal of Korean Institue of Electromagnetic Engineering and Sicence, Vol. 31 No. 10 pp 886-895, Oct. 2020. [https://doi.org/10.5515/KJKIEES.2020.31.10.886]
• Y. M. Kim and I. S. Choi, "Comparison of Simulation and Measurement for Imbalance Rotation of Floating Wind Turbine", Jourrnal of Korean Institute of Information Technology, Vol. 21, No. 3, pp 99-105, Mar. 2023. [https://doi.org/10.14801/jkiit.2023.21.3.99]
• M. G. Anderson and R. L. Rogers, "Micro-Doppler analysis of multiple frequency continous wave radar signatures", Proc. of Defense and Security Symposium Vol. 6547, Radar Sensor Technology XI, Orlando, Florida, United States, Apr. 2007. [https://doi.org/10.1117/12.719800]
• Y. B. Kim, Y. M. Kim, and I. S. Choi, "State Classification of Wind Turbine Blade using ConvolutionalNeural Network", Jourrnal of Korean Institute of Information Technology, Vol. 20, No. 4, pp 89-97, Apr. 2022. [https://doi.org/10.14801/jkiit.2022.20.4.89]
• Y. J. Choi, Y. B Kim, and I. S. Choi, "Measurement of the rotational speed of industrial wind turbine blades using a low cost 24 GHz Doppler radar", 2021 European Conference on Antennas and Propagation (EuCAP), Dusseldorf, Germany, pp. 22-26, Mar. 2021. [https://doi.org/10.23919/EuCAP51087.2021.9411170]
• Y. B. Kim and I. S. Choi, "Clutter Signal Separation Method of Outdoor Measured data for Wind Turbine Blade", Jourrnal of Korean Institute of Information Technology, Vol. 19, No. 9, pp 79-86, Sep. 2021. [https://doi.org/10.14801/jkiit.2021.19.9.79]
• M. I. Skolnik, "Introduction to Radar Systems", McGraw-Hill, pp. 104-106, Dec. 2000.
• V. C. Chen and H. Ling, "Time-Frequency Transfrom for radar imaging and signal analysis", Artech House, pp. 173-181, 2001.
• S. J. Lee and I. S. Choi, "Performance Comparison for Radar Target Classification of Monostatic RCS and Bistatic RCS", The Journal of Korean Institute of Electromagnetic Engineering and Science, Vol. 21, No. 12, pp. 1460-1466, Dec. 2010. [https://doi.org/10.5515/KJKIEES.2010.21.12.1460]