Home | JKIIT Archives | About the JKIIT | E-SUBMISSON |
Sorry.
You are not permitted to access the full text of articles.
If you have any questions about permissions,
please contact the Society.
죄송합니다.
회원님은 논문 이용 권한이 없습니다.
권한 관련 문의는 학회로 부탁 드립니다.
[ Article ] | |
The Journal of Korean Institute of Information Technology - Vol. 22, No. 4, pp. 71-77 | |
Abbreviation: Journal of KIIT | |
ISSN: 1598-8619 (Print) 2093-7571 (Online) | |
Print publication date 30 Apr 2024 | |
Received 05 Jan 2024 Revised 30 Jan 2024 Accepted 02 Feb 2024 | |
DOI: https://doi.org/10.14801/jkiit.2024.22.4.71 | |
딥러닝과 스펙트로그램을 이용한 사람과 동물 분류에 관한 연구 | |
김종희*
; 최인식**
| |
*한남대학교 전기전자공학과 석사과정 | |
**한남대학교 전기전자공학과 교수(교신저자) | |
A Study on Classification of Human and Animals using Deep Learning and Spectrogram | |
Jong-Hee Kim*
; In-Sik Choi**
| |
Correspondence to : In-Sik Choi Dept. of Electrical and Electronic Engineering, Hannam University, 70 Hannam-ro, Daeduk-gu, Daejeon, 34430, Korea Tel.: +82-42-629-8568, Email: recog@hnu.kr | |
Funding Information ▼ |
본 논문에서는 동물과 사람을 구분할 수 있는 방법 중 하나인 4족 보행과 2족 보행을 도플러 레이더를 이용해 측정하였다. 측정을 통해 DRCS(Dynamic Radar Cross Section) 데이터를 획득하고, 획득한 데이터에 STFT(Short-Time Fourier Transform)를 적용하여 스펙트로그램 영상을 얻었다. 얻은 스펙트로그램 영상으로 CNN(Convolutional Neural Network) 구분기를 학습시키고 구분 성능을 확인하였다. 2족 보행과 4족 보행 데이터는 각각 502개와 515개를 획득하였다. 4족 보행은 실제 동물에 대한 측정이 어려워 4족 보행 모사기를 사용해 4족 보행을 모방해 데이터를 측정하였다. 훈련 데이터와 테스트 데이터는 7:3의 비율로 나누어 구분 성능을 확인했고, 구분 정확도는 95.3947%를 가지는 것을 확인하였다. 본 연구를 통하여 동물과 사람의 보행 스펙트로그램 영상으로 2족/4족 보행의 구분이 가능하다는 것을 확인하였다.
In this paper, we utilize Doppler radar to measure quadrupedal and bipedal movements, which are methods for distinguishing between animals and humans. Through these measurements, we obtain Dynamic Radar Cross Section(DRCS) data and apply Short-Time Fourier Transform(STFT) to generate spectrogram images from the acquired data. We train a Convolutional Neural Network(CNN) classifier using these spectrogram images and evaluate its classification performance. We obtain 502 samples of bipedal movement and 515 samples of quadrupedal movement. As it is difficult to directly measure quadrupedal movements from actual animals, we employ a quadrupedal movement imitator and measure these movements using it. We divide the data into training and test sets in a 7:3 ratio to check the classification performance. As a result, the classification accuracy is 93.75%. Through this study, we confirm the feasibility of distinguishing between animal and human gait based on spectrogram images.
Keywords: CNN, Micro-Doppler, doppler radar, bipedal movement, quadrupedal movement |
최근 들어, 동물 또는 사람을 구분 및 인식하는 많은 연구들이 진행되고 있다[1][2]. 또한, 요즘에는 다양한 분야에서 동물과 사람을 구분하는 기술을 필요로 하고 있다. 군사분계선 지역처럼 24시간 모니터링을 해야 하는 지역에서는 지역적 특성상 야생동물의 이동이 잦기 때문에 이는 적군을 탐지하고 모니터링 하는 것에 방해가 될 수 있다. 이를 방지하기 위해서는 동물과 사람을 구분하는 기술을 이용하여 근무자의 업무 부담을 줄여주고 모니터링의 효율성을 높일 수 있다. 동물과 사람을 구분하는 기술은 농가에서도 사용될 수 있다. 해마다 야생동물로 인한 농작물 피해가 증가하고 있다는 연구 보고가 많다[3][4]. 동물과 사람을 구분하는 기술을 이용하면 효율적이고 안전하게 야생동물로부터의 피해를 예방할 수 있다. 이처럼 동물과 사람을 구분하는 기술은 민간이나 군에서 유용하게 사용될 수 있다.
최근 연구에는, 광학 카메라를 이용해 객체를 검출하는 연구가 활발히 진행되고 있다[5][6]. 광학 카메라를 이용한 객체 검출은 다양한 분야에서 널리 도입되고 있지만, 기상 상황과 광원의 영향을 많이 받아 밤인 경우나 안개가 끼어 있는 경우에는 객체 식별에 어려움이 있어 성능 저하의 문제가 있다. 레이더 센서는 광학 카메라보다 획득할 수 있는 정보의 양이 적지만 기상 상황과 주야 상황에 영향을 적게 받아 광학 카메라의 한계가 있는 상황에서는 효과적인 객체 구분 시스템을 설계할 수 있다. 실제로 레이더를 이용해 사람의 동작을 인식하고 구분하는 연구[7][8]나 도플러 레이더를 이용해 물체의 상태를 파악하고 모니터링하는 연구[9]가 활발히 진행되고 있다. 또한 도플러 레이더를 이용해서 사람과 여러 종의 보행 스펙트로그램을 비교해보는 연구도 진행되었다[10]. 이처럼 도플러 레이더를 이용하여 물체의 움직임을 측정하고 이를 기반으로 물체를 식별하는 연구가 활발히 진행되고 있다.
본 논문에서는 동물과 사람의 구분 기준 중 하나인 4족 보행과 2족 보행을 도플러 레이더를 이용해 측정하고 이를 CNN 구분기에 학습해 동물과 사람을 보행에 따라 분류하는 기술을 제시한다. 제안하는 기술은 도플러 레이더를 이용해 얻은 DRCS 데이터에 STFT를 적용하여 스펙트로그램 영상을 획득하고 획득한 스펙트로그램 영상으로 CNN 구분기를 학습시킨다[11]. 학습시킨 CNN 구분기를 이용해 구분성능을 테스트한 결과 동물과 사람이 보행 스펙트로그램 이용하여 매우 잘 구분됨을 확인하였다.
그림 1은 동물과 사람의 2족, 4족 보행 측정 실험에 사용된 레이더 측정 시스템의 구성도이다. 2족 보행과 4족 보행에 대한 데이터를 획득하기 위해서 24GHz 도플러 레이더와 DAQ(Data AcQuisition) 모듈을 이용하고 이를 이용해 획득한 데이터를 랩탑(Laptop)에서 Matlab과 Python 코드를 이용하여 신호처리를 수행하였다[12].
24GHz 도플러 레이더를 이용해 아날로그 I/Q 데이터를 획득하고 DAQ 모듈에서 이를 디지털 데이터로 변환한다. 이후 랩탑에서 STFT를 적용해서 스펙트로그램 영상을 얻어준다. 표 1은 측정을 위해 사용된 레이더 측정 시스템의 파라미터를 나타내주는 표이다[13].
Parameter | Value |
---|---|
Center frequency | 24GHz |
EIRP(Effective Isotropically Radiated Power) | 19 dBm |
IF Amp. gain | 40 dB |
IF Amp. bandwidth | 10 kHz |
Antenna beamsidth | 33 deg. |
Antenna gain | 15 dBi |
Sampling frequency | 40 ksps |
사람과 동물을 구분하기 위해 2족 보행과 4족 보행 시 발생하는 미세 도플러의 차이를 기준으로 구분하였다. 도플러 레이더에서 전송된 신호가 이동하는 목표물에 닿으면 신호의 파장이 바뀌고 신호의 반송 주파수가 이동하게 되는데, 이를 도플러 효과라고 한다. 식 (1)을 보면 알 수 있듯이 도플러 주파수는 이동하는 목표물의 속도를 반영한다. 도플러 주파수는 이때 탐지 대상이 레이더에 가까워질수록 양의 도플러 주파수를 가지게 되고 탐지 대상이 레이더에서 멀어질수록 음의 도플러 주파수를 가지게 된다.
(1) |
이때 v는 물체의 속도이고 λ는 파장, c는 빛의 속도, f는 레이더의 송신 주파수이다[12]. 이처럼 도플러 주파수는 물체의 속도와 레이더의 송신 주파수에 따라 달라지며, 레이더 시스템에서 물체의 속도를 측정하는 데 사용된다. 미세 도플러 주파수는 물체 내부 또는 표면의 작은 구조 또는 움직임으로 인해 발생하는 더 작은 주파수 변화를 의미한다. 이러한 구조적인 움직임은 물체의 회전, 진동 또는 표적의 보행 등의 미세한 운동으로 나타난다. 레이더에서 미세 도플러 주파수를 분석함으로써 물체의 내부 또는 외부 구조, 움직임, 또는 특성을 탐지하고 분석할 수 있다[14]. 따라서 미세 도플러는 레이더가 더 많은 정보를 수집하고 물체를 정확하게 식별하는 데 도움을 준다. 본 연구에서는 사람과 동물이 보행할 때 유발되는 미세한 주파수 변화를 이용해 사람과 동물 보행의 미세 도플러 차이점을 확인하였다. 사람과 동물은 일반적으로 신체 구조가 다르다. 신체 구조의 차이로 인하여 기본적으로 발의 개수와 관절의 움직임에 차이가 나타난다. 이러한 차이는 보행 시에 보행 속도, 보폭 등의 차이를 생성한다. 따라서 동물과 사람은 보행 시에 같은 전진 운동을 하더라고 내외부적으로 다른 미세 운동을 하게 된다. 다른 미세 운동은 다른 미세 도플러를 생성하기 때문에 미세 도플러의 차이를 확인하고 이를 이용하여 보행하는 사람과 동물을 구분하는 방법을 제안하였다.
동물과 사람의 보행은 시간에 따라 도플러 주파수가 변하는 non-startionary 신호이다. 푸리에 변환(Fourier transform)은 주파수 성분만을 알 수 있고 그 주파수 성분이 어떤 시간에 존재하는지는 알 수 없다. 따라서 푸리에 변환은 non-stationary 신호를 해석하기에 적합하지 않다. 이러한 non-stationary 신호를 해석하기 위해서 본 연구에서는 획득한 데이터에 STFT를 적용해 시간 주파수 영역의 스펙트로그램 영상으로 데이터를 분석하였다. STFT는 non-stationary 신호를 해석하기 위한 가장 기본저인 시간-주파수 해석법이다. STFT는 시간 영역 신호를 충분히 작은 세그먼트(Segment)로 나누고, 그 세그먼트 동안은 신호가 stationary하다고 가정하고 푸리에 변환을 한다. 세그먼트는 윈도우 함수를 이용해서 만들게 되며, 본 연구에서는 가우시안 윈도우 함수를 사용한다[15].
(2) |
시간영역에서 STFT는 식 (2)와 같이 표현된다. 이때 f(t)는 분석하고자 하는 신호이고, w (t)는 윈도우 함수이다[16].
CNN 구분기를 학습시키기 위해서는 많은 양의 데이터가 필요하다. 하지만 본 연구에서는 실제 동물을 대상으로 많은 양의 데이터를 획득할 수 없는 한계가 있어 직접 제작한 4족 보행 모사기를 이용해 동물 보행을 흉내 내고 동물 보행에 대한 스펙트로그램 영상을 획득하였다. 4족 보행 모사기는 그림 2와 같이 동물의 다리 관절 움직임을 흉내 낼 수 있는 구조로 제작하였다. 그림 3에 나온 것처럼 4족 보행 모사기를 제작하기 위해서 실제 개의 관절 움직임을 관찰하고 관절 움직임을 흉내 내었다. 4족 보행 모사기로 동물의 보행을 흉내 낸 결과 실제 개의 보행에 대한 스펙트로그램 영상과 유사한 것을 확인하였다.
이러한 결과를 바탕으로 4족 보행 모사기와 2.1절에서 설명한 도플러 레이더 측정 시스템을 이용해 동물의 보행에 대한 스펙트로그램 영상을 획득하였다. 사람 보행에 대한 스펙트로그램 영상은 실제 보행을 통해 획득하였다. 그림 4는 도플러 레이더 측정 시스템을 이용한 4족 보행과 2족 보행을 측정하기 위한 실험의 개념도이다.
그림 5는 측정 시스템을 이용하여 획득한 스펙트로그램 영상이다. 스펙트로그램 영상에서 보행의 주기를 관찰할 수 있다. 그림 5(b)와 그림 5(c)는 각각 실제 개 보행에 대한 스펙트로그램 영상과 흉내 낸 동물 보행에 대한 스펙트로그램 영상이다. 두 스펙트로그램 영상의 보행 주기를 확인하면 그림 5(a)의 사람 보행에 대한 스펙트로그램 영상의 보행 주기보다 빠른 것을 확인할 수 있다. 이러한 이유는 보행 속도의 차이와 다리 개수의 차이로 인해 발생하였다. 또 사람 보행의 스펙트로그램 영상을 확인하면 한번 보행 시 하나의 피크만을 확인할 수 있고, 개 보행의 스펙트로그램 영상을 확인하면 한번 보행 시 두 개의 피크를 확인할 수 있다. 이는 개와 사람의 관절 움직임과 보행 방법 차이로 인해 발생하였다. 개의 앞발은 그림 3에 나온 것처럼 다리를 들면서 뒤로 이동했다가 전진하면서 빠르게 앞으로 이동해온다. 이러한 빠른 운동은 높은 미세 도플러 주파수를 생성하기 때문에, 다리를 드는 행동과 발이 앞으로 나오는 행동이 순서대로 피크 값으로 생성되는 것을 유추할 수 있다. 사람도 보행 시 이러한 움직임을 가지고 있지만, 개에 비해 느린 속도의 운동을 해서 하나의 피크만을 가진다. 그림 5(c)는 이러한 운동을 고려해서 4족 보행 모사기를 이용해 흉내 내었다. 그림 5(b)와 그림 5(c)는 그림 5(a)에 비해 빠른 보행 주기를 확인할 수 있고, 한 번 보행 시 발생하는 두 개의 피크 값이 나오는 것을 확인할 수 있다. 따라서 실제 개 보행에 대한 스펙트로그램 영상과 흉내 낸 동물 보행에 대한 스펙트로그램 영상이 유사한 특징을 가지고 있는 것을 확인하였다.
3.1절의 방법을 통해 획득된 각각의 스펙트로그램 영상을 이용하여 CNN 구분기를 설계하였다. CNN 구분기는 사람 보행과 동물 보행을 구분하도록 설계하였다. 표 2는 구분기의 성능을 확인하기 위해 사용된 training 데이터와 test 데이터의 양을 나타낸 것이다. 사람 보행은 ‘human’ 동물 보행은 ‘animal’로 나타낸다. 동물과 사람 보행에 대한 스펙트로그램 영상은 각각 515개와 502개씩 획득하였다. training 데이터와 test 데이터를 7:3 비율로 구분기를 학습시키고 구분 성능을 확인하였다. 표 2와 같이 스펙트로그램을 나누어 구분기를 통해 바로 구분 성능을 확인한 결과 95.3717%의 구분 성능을 확인하였다.
Training | Test | Total | |
---|---|---|---|
Animal | 361 | 154 | 515 |
Human | 352 | 150 | 502 |
위의 학습 모델을 이용해 혼돈행렬(Confusion matrix)을 이용하여 결과를 도출하였다. 혼돈행렬을 전체 데이터 개수 중에서 상태에 따라 구분이 되는 개수를 파악하기 쉽다. 표 3은 2족/4족 구분기에 대한 혼동행렬 구성도이다. 여기서 True와 False는 구분의 성공과 실패를 나타내고, animal과 human은 4족 보행과 2족 보행을 구분하여 나타낸다. animal을 구분 성공할 경우 ‘True Animal(TA)’, 실패할 경우는 ‘False Animal(FA)’이 된다. 마찬가지로 human을 구분 성공할 경우 ‘True Human(TH)’, 실패할 경우 ‘False Human(FH)’이 된다. 혼돈행렬의 결과는 표 4를 통해서 확인할 수 있다. 혼동행렬의 구분 결과를 보면 human보다 animal의 구분 정확도가 상대적으로 떨어지는 것을 확인할 수 있다. 이는 animal의 데이터 자체가 사람이 동물을 흉내 내어 획득한 데이터이기 때문에 이러한 결과가 나오는 것을 유추할 수 있다. 2족/4족 보행 구분기에 대한 혼돈행렬 구분 정확도는 식 (3)을 이용해 계산이 가능하다.
(3) |
Animal | Human | |
---|---|---|
Animal | True Animal (TA) |
False Human (FH) |
Human | False Animal (FA) |
True Human (TH) |
animal | human | |
---|---|---|
animal | 142 | 12 |
human | 2 | 148 |
식 (3)을 이용해서 계산한 2족/4족 보행 구분기의 구분 결과는 95.3947%인 것을 확인하였다. 구분기를 통해 바로 구분 성능을 확인한 결과와 혼동행렬을 이용해 확인한 구분 성능은 거의 일정한 것을 알 수 있다.
본 논문에서는 도플러 레이더를 이용해 사람 보행과 동물 보행에 대한 DRCS 데이터를 얻고 여기에 STFT를 적용하여 스펙트로그램 영상을 획득하였다. 획득한 스펙트로그램 영상으로 사람과 동물을 구분하기 위해 CNN을 이용하여 구분기를 설계하였다. 동물 보행에 대한 스펙트로그램 영상을 획득하기 위해 실제 동물 보행에 대한 스펙트로그램과 동물 보행 영상을 관찰해 동물 보행을 흉내 낼 수 있는 4족 보행 모사기를 고안하였고 이를 이용해 동물 보행에 대한 스펙트로그램 영상을 획득하였다. 이렇게 획득한 스펙트로그램 영상과 사람 보행에 대한 스펙트로그램 영상으로 CNN 구분기를 학습시키고 구분 성능을 확인한 결과 93.75%의 구분 성능을 확인하였다. 이 연구를 통해 도플러 레이더와 동물과 사람 보행 구분기를 이용해 동물과 사람을 구분할 수 있는 것을 확인하였다. 하지만 본 논문에서는 실제 개 보행에 대한 스펙트로그램 영상만 확인하였기 때문에, 향후 다양한 종의 동물 보행에 대한 스펙트로그램 영상을 확인할 예정이다.
이 논문은 2023학년도 한남대학교 학술연구조성비 지원에 의해 연구되었음(No. 2023A068).
본 논문은 2023년 개최된 한국정보기술학회 추계종합학술대회 논문 “도플러 레이더와 2족/4족 구분기를 이용한 모니터링 시스템”을 확장한 것이다. 또 본 연구에 도움을 준 배진우, 오성준, 박석희 학생에게 감사의 말을 전한다.
1. | D. S. Lee and G. M. Park, "Analysis of Transfer Learning Effect for Automatic Dog Breed Classification", Journal of Broadcast Engineering, Vol. 27, No. 1, pp. 133-145, Jan. 2022 |
2. | M. Kim and D. H. Park, "Deep learning based Person Re-identification with RGB-D sensors", Journal of The Korea Society of Computer and Information, Vol. 26, No. 3, pp. 35-42, Mar. 2021. |
3. | S. H. Park, M. K. Kim, and Y. C. Youn, "Mitigation and Adaptation Strategy to Wildlife Damage in Forest-dependent Rural Communities", Journal of Environmental Policy and Administration Society, Vol. 27, No. 2, pp. 11-37, Jun. 2019. |
4. | Y. S. Ha and J. C. Shim, "Wild Animal Repellent System For Preovention of Crop Damage by Wild Boars", Journal of Korea Mulimedia Society, Vol. 24, No. 2, pp. 215-221, Feb. 2021. |
5. | A. W. D. U. Shalika and L. Seneviratne, "Animal Classification System based on Image Processing & Support Vector Machine", Journal of Computer and Communications, Vol. 4, No. 1, pp 12-21, Jan. 2016. |
6. | H. M. Kim, J. S. Ahn, T. Y. Lee, and B. I. Choi, "Multi-size Object Detection Model in Aerial Images based on Super Resolution Model Sturcture", Journal of Korean Society for Aeronautical and Space Sciences, Vol. 51, No 8, pp 553-562, Aug. 2023. |
7. | K. J. Baik and B. J. Jang, "Hand Gesture Classification Using Multiple Doppler Radar and Machine Learning", Journal of Korean Institute of Electromagentic Enginerring and Science, Vol. 28, No 1, pp 33-41, Jan. 2017. |
8. | M. G. Shin, W. H. Park, H. J. Kim, Y. H. Lee, S. H. Lee, and B. S. Kim, "FMCW Radar-Based Hand Gesture Recognition Technique Using frequency-Weighted MTI", Journal of Korean Institue of Electromagnetic Engineering and Sicence, Vol. 31 No. 10 pp 886-895, Oct. 2020. |
9. | Y. M. Kim and I. S. Choi, "Comparison of Simulation and Measurement for Imbalance Rotation of Floating Wind Turbine", Jourrnal of Korean Institute of Information Technology, Vol. 21, No. 3, pp 99-105, Mar. 2023. |
10. | M. G. Anderson and R. L. Rogers, "Micro-Doppler analysis of multiple frequency continous wave radar signatures", Proc. of Defense and Security Symposium Vol. 6547, Radar Sensor Technology XI, Orlando, Florida, United States, Apr. 2007. |
11. | Y. B. Kim, Y. M. Kim, and I. S. Choi, "State Classification of Wind Turbine Blade using ConvolutionalNeural Network", Jourrnal of Korean Institute of Information Technology, Vol. 20, No. 4, pp 89-97, Apr. 2022. |
12. | Y. J. Choi, Y. B Kim, and I. S. Choi, "Measurement of the rotational speed of industrial wind turbine blades using a low cost 24 GHz Doppler radar", 2021 European Conference on Antennas and Propagation (EuCAP), Dusseldorf, Germany, pp. 22-26, Mar. 2021. |
13. | Y. B. Kim and I. S. Choi, "Clutter Signal Separation Method of Outdoor Measured data for Wind Turbine Blade", Jourrnal of Korean Institute of Information Technology, Vol. 19, No. 9, pp 79-86, Sep. 2021. |
14. | M. I. Skolnik, "Introduction to Radar Systems", McGraw-Hill, pp. 104-106, Dec. 2000. |
15. | V. C. Chen and H. Ling, "Time-Frequency Transfrom for radar imaging and signal analysis", Artech House, pp. 173-181, 2001. |
16. | S. J. Lee and I. S. Choi, "Performance Comparison for Radar Target Classification of Monostatic RCS and Bistatic RCS", The Journal of Korean Institute of Electromagnetic Engineering and Science, Vol. 21, No. 12, pp. 1460-1466, Dec. 2010. |
2018년 3월 ~ 2024년 2월 : 한남대학교 전기전자공학과(공학사)
2024년 3월 ~ 현재 : 한남대학교 전기전자공학과 석사과정
관심분야 : RADAR 신호처리, RCS 해석 및 분석
1998년 2월 : 경북대학교 전자공학과(공학사)
2000년 2월 : POSTECH 전자전기공학과 (공학석사)
2003년 2월 : POSTECH 전자전기공학과 (공학박사)
2003년 ~ 2004년 : LG전자 선임연구원
2004년 ~ 2007년 : 국방과학연구소 선임연구원
2007년 ~ 현재 : 한남대학교 전기전자공학과 교수
관심분야 : RADAR 신호처리, RADAR 시스템 설계, RCS 해석 및 분석, EMI/EMC 해석