[ Article ]

The Journal of Korean Institute of Information Technology - Vol. 19, No. 5, pp.1-6

ISSN: 1598-8619 (Print) 2093-7571 (Online)

Print publication date 31 May 2021

Received 03 Mar 2021 Revised 20 May 2021 Accepted 23 May 2021

DOI: https://doi.org/10.14801/jkiit.2021.19.5.1

딥러닝 기반 지능형 멧돼지 퇴치기

박지희^*

; 심재창^**

*안동대학교 컴퓨터공학과 대학원
**안동대학교 컴퓨터공학과 교수(교신저자)

A Deep Learning-based Intelligent Wild Boar Repellent Device

Jihee Park^*

; Jaechang Shim^**

Correspondence to: Jaechang Shim Computer Engineering, Andong National University, 1375, Gyeongdong-ro, Andong-si, Gyeongsangbuk-do Korea Tel.: +82-54-820-5645, Email: jcshim@andong.ac.kr

초록

최근 멧돼지 등의 유해조수가 도심지뿐만 아니라 농촌에서도 극심한 농작물 피해를 내고 있다. 이에 농민들은 농지에 유해조수 퇴치기를 설치해 LED 조명과 소리로 유해조수를 쫓고 있다. 기존의 유해조수 퇴치기들은 대부분 PIR 센서와 도플러 센서에 의존한다. 그래서 유해조수가 나타나지 않았을 때도 퇴치 동작이 시행된다. 본 논문에서는 카메라를 통해 훈련된 YOLOv4 모델로 유해조수인지 판별한 후, 딥러닝 기반 지능형 멧돼지 퇴치기를 활용하여 퇴치 동작을 시행하는 방법을 제안한다. 기존의 유해조수 퇴치기는 멧돼지와 사람이 출몰하면 사람과 멧돼지 모두 퇴치 동작을 한다. 딥러닝 기반의 지능형 멧돼지 퇴치기는 멧돼지가 출몰했을 때에만 퇴치 동작을 하게 된다. 딥러닝 기반의 지능형 멧돼지 퇴치기를 설치함으로써 우리는 불필요한 퇴치 동작을 막을 수 있고, 보다 효과적인 유해조수 퇴치 효과를 얻을 수 있다.

Abstract

Recently, wild animals such as wild boars have been causing severe crop damage not only in urban areas but also in rural areas. Therefore, farmers have installed wild animal repelling devices on farmland to drive out the animals with LED lights and sounds. Existing wild animal repelling devices mostly rely on PIR and Doppler sensors. So, even when wild animals do not appear, repelling action is performed. In this paper, we propose a method that utilizes deep learning-based intelligent wild boar repellent device to implement repelling operation after determining whether it is wild boar with trained YOLOv4 model via camera. Existing wild animal repellent devices perform repelling action to both human and wild boar when human and wild boar appear. Deep learning-based intelligent wild boar repellent device repels only wild boar when human and wild boar appear. By installing deep learning-based intelligent wild boar repellent device, we can prevent unnecessary repelling action and more effectively repel the wild animals.

Keywords:

YOLOv4, deep learning, wild boar repellent, jetson nano

Ⅰ. 서 론

최근 멧돼지 등의 유해조수가 빈번하게 출현이 되는데, 이로 인해 도심지는 물론이고 농촌 지역에 농작물 피해가 심해지고 있다. 전국 유해조수별 농작물 피해 분석 결과 가장 많이 피해를 입힌 동물은 멧돼지(6,509백만원)이고, 그다음으로는 고라니(2,593백만원), 꿩(404백만원) 순으로, 유해조수 중에서도 멧돼지와 고라니의 비중이 크다[1].

이로 인해, 농민들은 밭이나 과수원 등에 유해조수를 퇴치하는 장치를 설치하여 LED 빛이나 소리, 전기목책기 등으로 멧돼지 등의 유해조수를 쫓는다. 하지만 이러한 유해조수를 퇴치하는 장치들은 대부분 PIR 센서(Passive infrared sensor)를 사용하여 센서에 감지가 되면 LED 빛이나 소리 등의 퇴치 동작을 하거나 전기목책기를 연결하여 퇴치 활동이 이루어지는데, PIR 센서만 사용하게 되면 실제로 멧돼지가 출몰하였는지 사람이 출몰하였는지 주변에 사물이 움직였는지에 대해 알 수 없다. 또한, 전기목책기가 연결되어 있으면, 상시로 동작하기 때문에 사람이 접근할 때에도 동작하게 되어 인명피해가 발생할 수 있다.

딥러닝 기반 지능형 멧돼지 퇴치기는 물체가 멧돼지인지 사람인지 사물인지를 구별하여 동작하기 때문에 불필요한 퇴치 동작을 하지 않게 한다. 멧돼지로 인한 농작물 피해가 심한 곳에 딥러닝 기반 지능형 멧돼지 퇴치기를 설치함으로써 기존의 유해조수 퇴치기보다 퇴치 동작을 효과적으로 할 수 있고, 농민들이 작업하는 동안 상시로 퇴치 동작하던 소리나 LED, 전기목책기에 대한 불편한 점을 줄일 수 있다.

본 논문의 구성은 다음과 같다. 2장에서는 본 논문에서 활용하고 있는 딥러닝 기반 지능형 멧돼지 퇴치기와 기존 유해조수 퇴치기에 대한 관련 연구를 설명한다. 3장에서는 YOLOv4 모델을 사용한 딥러닝 기반 유해조수 퇴치기와 기존 유해조수 퇴치기에 대한 인지 정확도 비교를 통해서 실험을 평가하고 4장에서 그 결론을 맺는다.

Ⅱ. 관련 연구

2.1 기존 유해조수 퇴치기

기존에 상용화된 유해조수 퇴치기는 센서를 이용하여 움직임을 감지하고 빛이나 소리와 같은 퇴치 동작을 한다[2]-[5]. 도플러 센서나 PIR 센서만을 이용하여 움직임을 감지하게 되면, 움직인 물체가 사람인지 동물인지, 또는 햇빛을 통해 열을 받은 사물인지 구분을 할 수 없게 된다. 그래서 센서만을 이용한다면, 실제로 유해조수가 나타나지 않은 상황에서도 퇴치 동작을 해서 불필요한 전력을 낭비하게 되고 효율적인 퇴치 작업을 할 수 없는 단점이 있다.

2.2 딥러닝 기반 지능형 멧돼지 퇴치기

2.2.1 YOLO (You Only Look Once)

YOLOv4는 사물 인지(Object detection)에 있어서 엔비디아(NVIDIA) 사의 Tesla V100 그래픽카드 환경에서 프레임 당 정확도(AP) 및 속도(FPS)가 70프레임 구간에서 약 43%의 정확도를 보이고 YOLOv3는 약 33%의 정확도를 보인다. 그리고 120프레임 구간에서 YOLOv4는 약 39%의 정확도를 보이고 YOLOv3는 약 31%의 정확도를 보인다. YOLOv4는 YOLOv3에 비해 약 10% 정도 더 우수한 성능을 보인다[6].

YOLO 모델은 입력 이미지를 S x S 그리드 셀로 나눈다. 그리고 크기가 일정하지 않고 서로 다른 경계 영역 박스를 2개씩 생성해 2*(S*S) 개만큼 생성한다. 이 중 경계 박스 안에 어떤 사물이 있다는 확신(Confidence score)이 클수록 박스를 굵게 그린다. 굵게 그린 경계 박스 이외에 후보 박스들은 NMS(Nom-maximal suppression) 알고리즘을 이용해 제거한다. 경계 박스의 색깔은 마찬가지로 S x S 그리드 영역에서 경계 박스 안의 사물에 대한 클래스를 나타낸다[7].

Ⅲ. 실험 및 결과

다음 그림 1은 딥러닝 기반 지능형 멧돼지 퇴치기 시스템 구성도이다.

Fig. 1.

Deep learning-based intelligent wild boar repellent architecture

본 논문에서 실험하고 있는 딥러닝 기반 지능형 멧돼지 퇴치기는 젯슨 나노(Jetson Nano)를 중심으로 움직임 감지 센서인 PIR 센서, 퇴치 동작에 사용하는 LED, 스피커, 스프레이 그리고 IR 카메라 4대를 작동하여 퇴치 작업을 수행한다.

젯슨 나노는 엔비디아 사에서 출시한 임베디드 IoT 보드이며 AI(인공지능) 연산을 할 수 있는 소형 컴퓨터이다. 딥러닝 훈련을 할 수 없는 제약사항이 있지만, 훈련된 모델을 가져와 연산할 수 있다.

퇴치 동작은 PIR 센서의 감지로부터 시작이 된다. 열을 가지고 있는 물체가 주로 좌우로 움직이게 되면 감지가 된다. 또한, 사람이나 동물 또는 햇빛의 열을 받은 물체가 움직이게 되면 PIR 센서에 감지된다.

감지가 되면 딥러닝 기반 지능형 멧돼지 퇴치기의 상단부에 있는 카메라 4대가 순서대로 영상을 찍게 된다. 카메라 4대를 사용한 이유는 딥러닝 기반 지능형 멧돼지 퇴치기에 사용된 카메라 1대 당 찍을 수 있는 화각은 최대 120도이지만 PIR 센서는 최대 180도까지 감지할 수 있어서 화각을 벗어날 경우를 대비하여 360도를 찍기 위함이다. 야간에는 카메라의 조도 센서에 따라 IR LED가 켜지게 된다. 젯슨 나노는 멧돼지 이미지가 미리 학습된 가중치 모델에 카메라 4대가 찍은 영상을 입력 이미지로 넣어 결과를 확인한다.

그 결과가 사람일 경우에는 안내 멘트가 스피커를 통해서 나오게 된다. 멧돼지가 나타났을 때는 LED, 스피커, 스프레이, 전기목책기가 작동하게 되는데, 퇴치 동작에 대한 패턴은 다르게 설정되어 있다. 멧돼지가 퇴치기를 자주 보았을 때 퇴치 동작에 대해서 학습할 수 있어서 스피커에서 나는 소리의 종류나 LED 빛의 패턴도 주기적으로 바뀌도록 하였다.

3.1 실험 환경

학습에 사용한 이미지는 웹 크롤링(Web crawling)을 활용하여 멧돼지 이미지 500 여장을 수집하였고, YOLO mark를 통해 각각의 이미지를 라벨링(Labeling) 작업했다.

실험 데이터는 멧돼지 데이터만 활용하여 진행하였다. 농작물 피해를 일으키는 유해조수 중에서 멧돼지가 가장 큰 피해를 주기 때문에 멧돼지 퇴치하는 것을 우선순위로 잡았다.

그림 2는 크롤링한 멧돼지 데이터의 모습이다.

Fig. 2.

Crawled wild boar data

훈련 데이터로 사용할 멧돼지 이미지는 크롤링한 이미지 중에서도 실제 농가에서 나타날 수 있는 환경인 풀이나 나무 등이 있는 사진을 위주로 작업했다. 가중치 모델은 다크넷(darknet) 프레임워크에서 YOLOv4 모델을 사용하여 만들었다. 실제 수집한 이미지의 크기는 416 x 416로 지정했고, 입력레이어에 입력되는 이미지의 크기는 32 x 32로 지정했으며 훈련 횟수는 4000번으로 지정했다. 멧돼지 이미지 500 여장 중 400 여장은 학습할 때 사용하고 나머지 100장은 정확도를 검증하기 위해 사용하였다. 학습에 사용된 GPU는 엔비디아 사의 GTX 1660 SUPER이다.

만들어진 YOLOv4 모델을 넣은 딥러닝 기반의 지능형 멧돼지 퇴치기와 기존 유해조수 퇴치기를 설치하고 멧돼지와 사람 두 물체에 대하여 두 퇴치기 주변에서 이동하였을 때의 인지 정확도를 실험한다. 실험하는 멧돼지, 사람 두 물체는 각 10회로 10초 동안 퇴치기 주변을 이동한다.

실제 농촌에서 멧돼지를 대상으로 실험을 진행하기에 나타날 때까지 긴 시간이 소요되는 것을 고려하여 멧돼지의 모습은 사진으로 대체하여 실험을 진행하였다.

3.2 실험 결과

그림 3은 GTX 1660 SUPER 환경에서 멧돼지 이미지가 학습된 YOLOv4 모델의 정확도 그래프이다.

Fig. 3.

Accuracy of YOLOv4 model that is learned wild boar

YOLOv4 모델로 훈련하였을 때 정확도는 93.9%로 나타났으며 손실(loss)는 0.5687을 나타내었다. 훈련하는 데에 걸린 시간은 약 8시간 정도 소요되었다.

표 1은 기존 유해조수 퇴치기와 훈련된 YOLOv4 모델을 넣은 젯슨 나노가 포함된 딥러닝 기반의 지능형 멧돼지 퇴치기에서 실험한 멧돼지, 사람의 퇴치 동작 횟수 비교이다. 기존의 유해조수 퇴치기는 a라고 정의하고, 딥러닝 기반의 지능형 멧돼지 퇴치기는 b라고 정의하겠다.

Table 1.

Comparison of the number of wild boar and human repellent operations

기존 유해조수 퇴치기는 사람과 멧돼지와 관계없이 PIR 센서와 도플러 센서에 의해 감지가 되면 퇴치 동작을 시행하기 때문에 멧돼지 10회, 사람 10회 모두 동작을 한 것을 볼 수 있다. 딥러닝 기반의 지능형 멧돼지 퇴치기는 PIR 센서로 감지한 후 카메라를 통해 사람인지 멧돼지인지 구분하기 때문에 멧돼지로 10회 실험을 했을 때 퇴치 동작을 시행하고 사람일 때는 퇴치 동작을 하지 않은 것을 볼 수 있다.

다음 그림 4는 실제 테스트베드 현장에서 포착된 멧돼지의 모습과 훈련된 YOLOv4 모델을 넣은 젯슨 나노가 포함된 딥러닝 기반의 지능형 멧돼지 퇴치기의 인지 모습이다.

Fig. 4.

Wild boar detection

설치된 딥러닝 기반의 지능형 멧돼지 퇴치기에서 약 7m 떨어진 곳에서 멧돼지가 출몰한 모습이다. 인지율은 81%로 나타났으며 멧돼지가 인지됨에 따라 LED와 스피커를 동작하고 퇴치액을 분사하는 퇴치 동작을 시행하였다.

ⅤI. 결론 및 향후 과제

본 논문에서는 기존의 멧돼지 퇴치기에서 생기는 문제점에서 YOLOv4 모델을 활용한 딥러닝 기반 지능형 멧돼지 퇴치기를 통해 단점을 보완하는 방법을 연구하였다.

딥러닝 기반의 지능형 멧돼지 퇴치기는 PIR 센서와 카메라를 이용하여 유해조수를 인지하고 LED, 스피커, 전기목책기 등을 이용하여 퇴치 동작을 하도록 구성되었다. 실제 멧돼지로 실험을 하는 데에 어려움이 있어 멧돼지 사진으로 대체하여 실험하였지만, 기존 유해조수 퇴치기와 비교했을 때 훈련된 YOLOv4 모델을 넣은 딥러닝 기반의 지능형 멧돼지 퇴치기는 멧돼지와 사람의 출몰에 있어서 멧돼지가 출몰했을 때에만 퇴치 동작을 시행한 것을 볼 수 있었다. 딥러닝 기반의 지능형 멧돼지 퇴치기는 나타나는 물체에 대해 정확한 인지를 할 수 있어서 더 효율적인 멧돼지 퇴치를 할 수 있다는 점을 볼 수 있다. 또한, 움직이는 물체에 따라 전기목책기의 전원을 인가하거나 차단할 수 있으므로 인명피해를 줄일 수 있다.

향후 연구에서는 농작물에 손해를 끼치는 유해조수인 고라니, 까치 등의 이미지를 멧돼지와 같이 학습하여 퇴치기에 적용할 예정이다. 고라니의 경우 외형적인 모습이 사슴, 소 등과 비슷하므로 고라니만의 특징점을 찾아내어 딥러닝으로 학습하는 방법을 연구할 계획이다. 그리고 까치의 경우 체구가 작아서, 까치가 농지에 접근할 때의 모습을 딥러닝을 통해 어떤 방법으로 학습할지에 대해 연구할 계획이다.

Acknowledgments

이 논문은 산업통산자원부의 재원으로 2020년 혁신조달연계형신기술사업화(R&D)의 지원으로 수행된 연구임(2020-151).

References

The Ministry of Environment(2019). http://me.go.kr/home/web/policy_data/read.do?pagerOffset=0&maxPageItems=10&maxIndexPages=10&searchKey=&searchValue=&menuId=10261&orgCd=&condition.code=A2&condition.deleteYn=N&seq=7009, [Accessed: Mar. 2, 2021].
K.K. Wagner and D.L. Nolte, "Comparison of Active Ingredients and Delivery Systems Indeer Repellents", Wildlife Society Bulletin, Vol. 29, No. 1, pp. 322-330, 2001.
C. H. Woo, "Design and Implementation of Farm Pest Animals Repelling System Based on Open Source", Journal of Korea Multimedia Society, Vol. 19, Issue 2, pp.451-459, Feb. 2016. [https://doi.org/10.9717/kmms.2016.19.2.451]
H. G. Hong, Y. J. Cho, S. Y. Woo, S. H. Song, J. S. Oh, H. Y. Yun, and et al, "Design and Implementation of Bird Repellent System", Journal of the Korean Society of Manufacturing Process Engineers, Vol. 18, No. 8, pp.104-109, Aug. 2019. [https://doi.org/10.14775/ksmpe.2019.18.8.104]
M. S. Ghil, D. K. Kwak, B. S. Lee, Y. J. Kwon, and S. Y. Choi, "A Study on IoT Platform Design to Reduce Crops Damage of Wild Animal", Proceedings of the KIPE Conference, pp.32-33, Jul. 2016.
A. Bochkovskiy, C. Wang, and H.M. Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection", arXiv preprint arXiv:2004.10934, , pp. 1-17, Apr. 2020
J. Redmon, S. Divvala, R. Girshich, and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", arXiv preprint arXiv:1506.02640, , pp. 1-10, May 2016. [https://doi.org/10.1109/CVPR.2016.91]
GwangJin, Equipment for controlling harmful animals using IoT deep learning 10-2018-0007540, 2018.

저자소개

박 지 희 (Jihee Park)

2019년 8월 : 안동대학교 컴퓨터공학과(공학사)

2019년 9월~현재 : 안동대학교 컴퓨터공학과 석박사 연계과정

2019년 9월~현재 : ㈜광진기업 연구원

관심분야 : 영상처리, 임베디드 시스템, 인공지능, 컴퓨터비전, 딥러닝

심 재 창 (Jaechang Shim)

1987년 2월 : 경북대학교 전자공학과(공학사)

1990년 2월 : 경북대학교 전자공학과(공학석사)

1993년 8월 : 경북대학교 전자공학과(공학박사)

1994년 3월~현재 : 안동대학교 컴퓨터공학과 교수

1998년 7월~현재 : ㈜파미 감사

관심분야 : 영상처리, 패턴인식, 컴퓨터비전, 인공지능, 임베디드시스템, 소프트웨어 교육