Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 19, No. 5, pp.39-50
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 May 2021
Received 06 Apr 2021 Revised 20 May 2021 Accepted 23 May 2021
DOI: https://doi.org/10.14801/jkiit.2021.19.5.39

드론의 속도와 쓰레기 인식률에 관한 연구

정동원* ; 이유정* ; 이석훈*
*군산대학교 소프트웨어융합공학과
A Study on Trash Recognition Rate and Drone Speed
Dongwon Jeong* ; Yujeong Lee* ; Sukhoon Lee*

Correspondence to: Dongwon Jeong and Sukhoon Lee Dept. of Software Convergence Engineering, Kunsan National University, Korea Tel.: +82-63-469-8912, Email: djeong@kunsan.ac.kr, leha82@kunsan.ac.kr

초록

쓰레기 문제에 사회적 관심이 고조되면서 이를 해결하기 위한 다양한 연구가 진행되어 왔다. 특히 쓰레기의 현황을 파악하기 위해 드론과 영상 인식 기술이 적용되고 있다. 쓰레기 현황을 정확하게 파악하기 위해서는 정확한 영상 획득이 우선되어야 한다. 기존 연구에서 드론의 고도가 쓰레기 인식률에 미치는 영향에 대한 연구가 진행되었으나, 드론의 속도 또한 매우 중요한 요소이다. 따라서 이 논문에서는 드론의 속도가 영상 인식률에 미치는 영향을 분석하고 고도, 속도와 영상 인식률과의 관계를 정의한다. 실험 결과는 드론의 속도가 느릴수록 정확한 영상을 획득할 것이라는 가설과는 다른 결과를 보였다. 다양한 드론의 속도와 고도에서 촬영된 영상을 실험해 본 결과, 정확한 영상을 획득하기 위한 드론의 최적 속도는 3m/s이며, 최적 고도는 5m로 산출되었다. 이 논문의 연구 결과는 관련 연구의 기초 자료로 활용될 수 있다.

Abstract

Various studies have been conducted to resolve the growing social interest in the trash issue. Especially, drones and image recognition technologies are being applied to identify the distribution of trash. Accurate image acquisition must be prioritized to accurately identify the distribution of trash. In existing studies, research has been conducted on the effect of the altitude of a drone on the garbage recognition rate. However, the speed of a drone is also a very important factor. Therefore, this paper analyzes the effect of the drone speed on the image recognition rate and also defines the relationship between altitude, speed, and image recognition rate. The experimental results showed different results from the hypothesis that the slower the drone speed, the more accurate images will be acquired. The recognition rate was generally high at 2m/s, but the recognition rate was better at different speeds depending on the altitude. The research results of this paper can be used as basic data for related studies.

Keywords:

image recognition, trash, garbage, drone, speed, altitude

Ⅰ. 서 론

기술 발전과 인구 증가는 다양한 문제를 유발한다. 그중에서 과잉 배출되는 쓰레기는 전 세계적인 관심 사항으로 심각한 환경오염과 그로 인한 수많은 문제를 발생시킨다[1]. 쓰레기 문제가 심각한 사회적 문제로 대두되면서 해당 분야의 전문가들은 쓰레기의 발생으로부터 최종 처리까지 정확한 경로 파악과 함께 발생하는 쓰레기 분석 등을 통해 쓰레기의 양을 줄여야 한다고 주장하고 있다[2]. 쓰레기 문제를 해결하는 방법은 발생하는 쓰레기의 양을 줄이거나 발생한 쓰레기를 최대한 빠르고 효율적으로 수거하여 재사용하거나 제거하는 것이다.

현재 쓰레기의 양을 줄이기 위한 다양한 활동이 진행되고 있으며, 발생한 쓰레기를 파악하고 수거하기 위한 활동들도 활발하게 진행되고 있다[3]-[7]. 특히 버려진 쓰레기를 수거하여 재활용 또는 제거하기 위해서는 정확하고 신속하게 쓰레기 분포 현황을 파악해야 한다. 그러나 현재 버려진 쓰레기 현황 파악은 대부분 수동으로 이루어지고 있다. 전국 폐기물 통계조사에 의하면 버려지는 쓰레기의 양과 종류를 사람이 직접 현장에서 수동으로 조사하여 통계를 낸다[8]. 이러한 방식은 많은 시간과 비용을 낭비하는 문제점을 지닌다.

상기 언급한 문제점을 해결하기 위하여 최근에는 드론과 영상 인식 기술을 이용한 다양한 연구가 진행되고 있다. 대부분의 연구는 드론으로 획득한 영상을 이용하여 영상을 분석하며, 이러한 기존 연구들은 획득한 영상 분석에 초점을 두고 있다. 하지만, 영상 분석 결과의 정확성을 담보하기 위해서는 획득 영상의 품질 보장이 우선되어야 한다. 획득 영상은 다양한 요인에 영향을 받으며, 무엇보다 드론의 고도, 속도 등에 따라 획득 영상의 품질이 달라진다.

앞서 언급한 한계를 극복하기 위한 선행 연구로서 드론의 고도에 따른 영상 인식률에 대한 연구가 진행되었다[5]. 이 연구에서는 쓰레기 유형을 5가지를 분류하고 고도에 따라 획득한 영상의 인식률을 분석하였다. 연구 결과로는 고도가 가장 낮을 때 인식률이 향상될 것이라는 예측과 다르게 카메라의 성능, 속도 및 외부 요인의 영향에 따라 인식률이 다르게 측정되는 결과를 보였다. 이 연구는 고도가 인식률에 미치는 영향을 분석했다는 측면에서 유의미한 연구라고 판단된다. 그러나 이 연구에서는 드론의 고도만을 고려했을 뿐 또 다른 중요한 요소 중 하나인 드론의 속도는 고려하지 않았다.

따라서 이 논문에서는 드론의 고도는 물론 드론의 속도까지 고려한 영상 인식률에 대한 연구를 수행한다. 획득한 영상의 질은 영상 센서 유형, 영상 센서의 설정, 주변 환경 등 다양한 요인에 의해 달라질 수 있다. 그러나 이 논문에서는 주어진 영상 센서의 기존 설정 등을 전제로 드론 속도가 고도와 함께 획득 영상에 미치는 영향에 초점을 둔다. 드론의 고도는[5]에서 제안한 고도 분류를 사용하고 각 고도별 다양한 속도에서 획득한 영상을 이용한 인식률을 분석한다. 비교 평가의 정확성을 위해[5]에서 사용한 동일한 모델과 동일한 분석 방법을 이용한다.

이 논문의 구성은 다음과 같다. 제2장에서는 관련 연구 및 문제 정의를 기술하고, 제3장에서는 주요 시스템 구조 및 프로세스를 기술한다. 제4장에서는 구현 결과를 기술하고 제5장에서는 실험 및 평가 결과를 기술한다. 마지막으로, 제6장에서는 결론 및 향후 연구를 기술한다.


Ⅱ. 관련 연구

최근 드론, IoT(Internet of Things) 기술 및 영상인식 기술 등을 이용한 매우 다양한 연구가 진행되고 있으며, 기계학습 기법이 적용되면서 보다 실용적인 시스템 및 서비스들이 개발되고 있다. 이러한 기술은 특정 분야에만 적용되지 않고 작물 재배[9][10], 가로수 분류[11], 재난[12], 길 안내 서비스[13], 건강[14] 등 매우 넓은 분야에 적용되고 있다.

특히 최근 쓰레기가 국·내외적으로 사회적인 큰 문제로 대두되면서 드론 및 영상 기술을 등을 적용한 매우 다양한 연구가 진행되고 있다[3]-[7].

[3]에서는 드론을 이용하여 해안 쓰레기의 영상을 획득하고 대량의 이미지 자동 처리 시스템을 통해 쓰레기의 양과 상태를 추정할 수 있는 시스템을 제안하였다. 그러나 이 연구는 드론으로 촬영한 테스트 셋이 정확한 영상을 획득하지 못하여 오버랩 발생으로 인한 동일한 물체가 중복하여 인식되는 문제점을 지닌다.

[4]에서는 드론과 Mask R-CNN과 SegNet 딥러닝 기술을 이용하여 해안 쓰레기를 탐지하는 시스템을 제안하였다. 이 시스템은 일정한 고도에서 촬영한 영상으로 연구를 진행하여 고도에 따른 데이터 손실이 발생하는 문제점을 지닌다.

[5]에서는 드론의 고도에 따른 영상 인식률에 관한 연구를 진행하였다. 주요 쓰레기 유형을 선정하여 클라우드 서비스를 통해 모델을 구축하고 고도별 인식률에 대한 실험 및 평가를 수행하였다. 이 연구에서는 가장 낮은 고도에서 인식률이 높을 것이라는 가설을 설정하였으나, 이와는 달리 실험 결과에서 5m에서 높은 인식률을 보였다. 이를 통해 드론으로 촬영한 영상의 인식률에 영향을 미치는 요소가 고도뿐만 아니라 다른 요소 또한 존재한다는 것을 확인하였고, 외부 요소와의 관계성에 대한 연구의 필요성을 기술하였다.

앞서 기술한 쓰레기 식별 또는 탐지를 위한 연구 외에도 쓰레기를 수거할 수 있는 로봇에 관한 연구도 지속적으로 진행되었으며[6,7], 수거된 쓰레기를 분류하기 위한 연구도 진행되었다[15,16].

수거된 쓰레기 분류 연구인 [15]에서는 센서를 이용하여 금속과 비금속 물질로 분류한 후, 소리 감지 센서를 이용하여 유리병과 플라스틱으로 분류하는 시스템을 제안하였다. [16]에서는 SVM(Support Vector Machine)과 CNN(Convolutional Neural Network) 딥러닝 기법을 이용하여 쓰레기를 재활용이 가능한 카테고리로 분류하는 시스템을 제안하였다.

연구 결과에서, CNN 기법의 경우, 최적의 파라미터 산출이 어렵다는 한계로 인해 SVM을 적용한 분류 결과의 정확도가 더 높게 나타났다. 또한 이 연구에서는 단일 객체에 대한 분류에 초점을 두었기 때문에 다중 개체를 포함하는 쓰레기 영상에 대한 처리가 불가능하다는 한계를 지닌다.


Ⅲ. 제안 시스템 설계

이 장에서는 전체적인 제안 시스템의 구조와 드론에 의한 주요 영상 데이터 수집 프로세스를 기술한다.

3.1 제안 시스템 구성

그림 1은 제안 시스템의 전체적인 구조를 보여준다. 시스템은 크게 드론을 제어하는 역할을 수행하는 지상관제시스템인 GCS(Ground Control System)와 쓰레기 영상을 수집하는 역할인 Drone, 수집된 영상에서 쓰레기를 인식하는 역할을 수행하는 Cloud Service로 구성되어 있다.

Fig. 1.

System architecture

GCS 영역은 세부적으로 Altitude Setting 모듈, Speed Setting 모듈, Path Setting 모듈로 이루어져 있다. Altitude Setting 모듈은 드론의 고도를 설정하는 역할을 수행하며, 고도의 범위는 3m에서 10m까지 1m 간격으로 설정한다.

Speed Setting 모듈은 드론의 속도를 설정하는 역할을 수행하며, 속도의 범위는 2m/s, 3m/s, 4m/s로 설정한다. Path Setting 모듈은 드론의 자율주행 경로를 설정하는 역할을 수행한다. 경로는 경유 지점인 웨이포인트(Waypoint)를 지정하여 설정한다.

GCS와 Drone은 Ocusync Protocol을 하여 통신하고, GCS에서 전달한 값을 Drone 영역을 통해 비행에 필요한 기능을 설정한다. Drone 영역은 세부적으로 Autonomous Driving 모듈, Altitude Control 모듈, Speed Control 모듈, Shooting Control 모듈로 이루어져 있다. Autonomous Driving 모듈은 GCS에서의 Path Setting 모듈에서 전달받은 웨이포인트 지점으로 자율주행을 수행하는 역할을 한다.

Altitude Control 모듈과 Speed Control 모듈은 GCS에서 전달받은 드론의 고도와 속도의 값에 맞게 드론을 제어하는 기능을 수행한다. Shooting Control 모듈은 데이터 촬영 기능을 수행한다.

Cloud Service 영역을 통해 Drone 영역에서 촬영한 영상 데이터의 인식률 확인 기능을 수행한다. Cloud Service 영역은 클라우드 서비스의 종류인 Custom Vision과 AutoML Vision을 탑재한다. 두 클라우드 서비스의 Build Model 모듈은 실험에 필요한 모델을 구축하는 역할을 수행하고, Check Recognition Rate 모듈은 쓰레기의 인식 결과를 확인하는 기능을 수행한다. 마지막으로, Model Evaluation 모듈을 사용하여 구축된 모델에 대한 평가 기능을 수행한다.

3.2 데이터 수집 프로세스

쓰레기 데이터를 수집하는 과정을 UML(Unified modeling language)의 순차 다이어그램(Sequence diagram)으로 표현하면 그림 2와 같으며, 기본적인 데이터 수집 프로세스는 [5]의 데이터 수집 프로세스와 거의 동일하다. 사용자는 드론을 제어하기 위하여 GCS와 드론의 연결을 시도하고 드론은 사용자에게 연결 상태를 반환한다. 연결이 완료되면 사용자는 드론의 고도와 속도를 입력하여 드론에 전달한다. 전달된 값으로 드론의 고도와 속도가 설정되고 그 결과를 사용자에게 반환한다. 고도와 속도가 설정되면 사용자는 웨이포인트 값을 전달한다. 이때, 웨이포인트는 적정 거리 이상의 유효한 값이 입력되어야 하며, 유효하지 않은 값이 입력될 경우 웨이포인트 값을 재설정해야 한다. 유효한 웨이포인트 값이 설정되면 사용자는 데이터를 수집을 시작하기 위한 명령을 드론에 전달하게 된다. 드론은 설정된 고도와 속도, 그리고 웨이포인트 경로를 이용하여 자율주행을 수행하며 영상 데이터를 획득한다. 드론의 비행이 완료되면 드론에서 획득한 영상 데이터를 사용자에게 전송한다. 마지막으로, 사용자는 드론과 GCS 간 연결을 해제한다.

Fig. 2.

Data collection process


Ⅳ. 구현

4.1 구현 환경

구현 환경은 표 1과 같으며, 구현 및 실험 평가를 위해 기존 연구[5]와 동일한 환경을 설정한다. 드론을 제어하는 GCS 앱을 개발하며, 고도는 물론 속도 요소를 고려한다. 따라서 기존 연구에서 개발한 GCS와 달리 속도 변수 값을 설정할 수 있도록 구현한다.

Environments for implementation

구현 및 실험은 Windows 10 Pro 운영 체제 상에서 이루어진다. CPU는 표 1에서와 같이 Intel Xeon 3.60GHz를 사용하며, RAM은 16GB를 탑재한 시스템을 이용한다. 실험을 위한 앱 구현을 위한 Mobile OS는 Android 9.0을 사용하며, 개발 언어는 Java를 사용한다. 구현 및 실험을 위한 드론은 DJI Phantom 4 Pro V2.0을 사용하며, 영상 센서로서 1인치 20MP의 카메라를 드론에 탑재한다.

4.2 GCS 앱 개발

그림 3은 GCS 앱을 통해 드론의 고도 및 속도를 설정하는 화면을 보여준다. 앞서 기술하였듯이, 이 논문에서 구현한 GCS 앱은 속도 값을 설정할 수 있는 항목을 지닌다. Altitude 텍스트 필드에는 3m부터 10m까지 드론의 고도를 입력한다. 최저 고도인 3m는 사람의 평균 키를 고려하여 안전사고를 예방한다. 최고 고도인 10m는 쓰레기를 형태를 식별할 수 있는 고도의 범위로 정의하였다.

Fig. 3.

Setting an altitude and speed of the drone

Speed 라디오 박스는 드론의 속도를 설정하는 부분이다. 드론의 기본 속도인 2m/s를 최저 속도로 정의한다. 사전 테스트로 5m/s 이상의 속도로 설정한 결과, 영상의 손실이 발생하여 최고 속도를 4m/s로 제한하였다.

4.3 쓰레기 영상 인식 모델

쓰레기 인식률 실험을 위해 Microsoft의 Custom Vision과 Google의 AutoML Vision 클라우드 서비스를 사용한다. 그림 4는 모델을 구축하기 위한 학습 데이터의 일부를 보여준다. 쓰레기 유형은[17]에서 정의한 분류에 따라 대표적인 유형을 선정하였고 선정한 유형은 플라스틱, 비닐봉지, 종이컵, 캔, 나무젓가락이다. 학습 데이터는 기존 연구[5]와의 비교를 위하여 총 2,500개의 동일한 데이터를 사용하여 모델을 구축한다.

Fig. 4.

Subset of learning data

그림 5는 드론을 이용하여 고도와 속도를 다른 실험 데이터를 보여준다. 고도에 따라 쓰레기의 크기가 다르고, 속도에 따라 영상의 흔들림 정도가 다른 것을 볼 수 있다. 즉, 그림 상단 첫 번째 그림과 하단 두 번째 그림은 실제 실험에서 고도와 속도에 따라 획득된 영상의 상태 차이를 보여준다. 이와 같이 고도는 물론 속도의 변화에 따른 영상을 획득하고 이러한 실험 데이터를 이용하여 인식률의 차이를 분석한다.

Fig. 5.

Experimental data

그림 6은 Custom Vision을 이용하여 쓰레기 인식한 결과를 보여준다. Custom Vision은 실험 데이터를 입력 받아 라벨 값과 쓰레기의 인식률이 출력된다. Custom Vision은 이미지에 라벨 값을 정의하여 모델을 빠르게 구축할 수 있는 특성을 지닌다.

Fig. 6.

Recognition result by custom vision

그림 7은 AutoML Vision을 이용한 쓰레기 인식 결과를 보여준다. Custom Vision과 마찬가지로 실험 데이터가 입력으로 들어가며, 출력으로는 라벨 값과 쓰레기의 인식률이 표시된다.

Fig. 7.

Recognition result by AutoML vision

그러나 AutoML Vision은 사용자가 직접 경계 박스를 지정하여 라벨값을 부여하기 때문에 출력으로는 객체에 경계 박스가 표시된다.


Ⅴ. 실험 및 평가

이 장에서는 연구의 실험 환경 및 실험 결과를 기술한다. 이 논문의 목적은 드론의 고도와 더불어 드론의 속도에 따라 획득된 영상에서의 쓰레기 인식률을 분석에 있다. 따라서 기존 연구에서 고려한 인자인 고도에 추가적으로 속도와의 인식률에 대한 비교 평가를 수행한다.

5.1 실험 환경

무인 비행 장치 안전관리 가이드[18]에 따라 비행 허가 구역이고 넓은 공간을 가진 학교 내 운동장에서 실험을 진행하였다. 운동장은 갇힌 실내 공간이 아니므로 날씨 환경을 고려하여 실험을 진행하였다. 실험 항목으로는 쓰레기 유형인 비닐봉지와 음료수병, 캔, 나무젓가락, 종이컵으로 선정하며, 3m에서 10m까지 1m 간격의 8가지 고도와 2m/s, 3m/s, 4m/s로 3가지 속도를 달리하여 실험을 수행한다. 마지막으로 클라우드 서비스의 종류인 Custom Vision과 AutoML Vision을 사용하여 쓰레기를 인식률을 평가한다. 따라서 총 240가지의 실험 결과에 대한 평가를 수행한다.

5.2 실험 결과

그림 8은 Custom Vision을 이용한 비닐봉지 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도가 5m인 경우에 가장 높은 인식률을 보였으며, 그 이상의 고도에서는 점차 낮아지는 결과를 보였다. 속도에 따른 결과에서, 비교적 낮은 고도인 3m, 4m, 5m에서는 속도가 3m/s인 경우에 높은 인식률을 보였으며, 그 이상의 고도에서는 2m/s에서 높은 인식률을 보였다. 또한, 속도가 4m/s일 때의 인식률이 2m/s와 3m/s인 경우보다 현저히 낮은 인식률을 보였다.

Fig. 8.

Recognition rates of plastic bags in custom vision

그림 9는 Custom Vision을 이용한 음료수병 인식률 실험 결과를 보여준다. 고도에 따른 결과로는 고도가 4m와 5m인 경우에 높은 인식률을 보였고 그 이상의 고도에서는 낮은 인식률을 보였다. 속도에 따른 인식률 결과에서, 고도가 3m부터 5m까지는 속도가 3m/s인 경우에 높은 인식률을 보이고, 고도가 6m 이상인 경우에는 2m/s가 높은 인식률을 보였다. 또한, 속도가 4m/s인 경우, 고도가 4m인 경우를 제외한 나머지 고도에서는 다른 속도에 비해 낮은 인식률을 보였다.

Fig. 9.

Recognition rates of beverage bottles in custom vision

그림 10은 Custom Vision을 이용한 캔 인식률 실험 결과를 보여준다. 고도에 따른 인식 결과는 고도가 4m와 5m인 경우에 높은 인식률을 보였고, 그 이상의 고도에서는 점차 낮아지는 결과를 보였다.

Fig. 10.

Recognition rates of cans in custom vision

속도에 따른 인식 결과에서, 고도가 3m, 4m, 5m이고 속도가 3m/s인 경우에 높은 인식률을 보였으며, 그 이상의 고도에서는 속도가 2m/s인 경우에 높은 인식률을 보였다. 속도가 4m/s인 경우에는 고도가 4m인 경우에 높은 인식률을 보였고 고도가 5m 이상인 경우에는 인식률이 점차 감소하는 경향을 보였다.

그림 11은 Custom Vision을 이용한 나무젓가락 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도가 3m와 5m인 경우에 높은 인식률을 보였고, 고도가 6m 이상인 경우에는 인식률이 점차 감소하는 결과를 보였다. 속도에 따른 결과에서, 속도가 2m/s와 4m/s이고 고도가 3m인 경우에 높은 인식률을 보였으며, 속도가 3m/s인 경우에는 고도가 5m인 경우에 높은 인식률을 보였다.

Fig. 11.

Recognition rates of wooden chopsticks in custom vision

그림 12는 Custom Vision을 이용한 종이컵 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도 5m까지는 고도가 증가할수록 인식률이 증가하는 결과를 보였으며, 그 이상의 고도에서는 점차 인식률이 감소하는 경향을 보였다. 속도에 따른 결과에서, 속도가 2m/s, 3m/s, 4m/s인 경우에는 고도 5m에서 가장 높은 인식률을 보였다.

Fig. 12.

Recognition rates of paper cups in custom vision

그림 13은 AutoML Vision을 이용한 비닐봉지 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도 5m에서 가장 높은 인식률을 보였으며, 그 이상의 고도에서는 점차 낮아지는 결과를 보였다. 속도에 따른 결과에서, 속도가 2m/s와 3m/s이고 고도가 5m인 경우에 높은 인식률을 보였고, 속도가 4m/s인 경우 4m 고도에서 높은 인식률을 보였다.

Fig. 13.

Recognition rates of plastic bags in AutoML vision

그림 14는 AutoML Vision에서의 음료수병 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, Custom Vision과 동일하게 4m와 5m 고도에서 높은 인식률을 보였고, 그 이상의 고도에서는 인식률이 점차 낮아지는 경향을 보였다. 속도에 따른 결과에서, 2m/s와 3m/s 속도에서는 5m 고도에서 높은 인식률을 보였고, 4m/s 속도인 경우에는 Custom Vision과 동일하게 4m 고도에서 높은 인식률을 보였다.

Fig. 14.

Recognition rates of beverage bottles in AutoML vision

그림 15는 AutoML Vision에서의 캔 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도가 4m와 5m인 경우에 높은 인식률을 보였으며, 그 이상의 고도에서는 점차 인식률이 낮아지는 경향을 보였다. 속도에 따른 결과에서, 드론의 속도가 2m/s와 3m/s인 경우에는 고도가 5m일 때 높은 인식률을 보였으며, 속도가 4m/s인 경우에는 고도가 4m일 때 높은 인식률을 보였다.

Fig. 15.

Recognition rates of cans in AutoML vision

그림 16은 AutoML Vision에서의 나무젓가락 인식률 실험 결과를 보여준다. 고도에 따른 인식률 결과는 Custom Vision과 동일하게 고도가 3m와 5m인 경우에 높은 인식률을 보였다. 속도에 따른 인식 결과에서, 드론의 속도가 2m/s이거나 4m/s이고 고도가 3m인 경우와 속도가 3m/s이고 고도가 5m인 경우에 높은 인식률 결과를 보였다.

Fig. 16.

Recognition rates of wooden chopsticks in AutoML vision

그림 17은 AutoML Vision을 이용한 종이컵 인식률 실험 결과를 보여준다. 고도는 4m와 5m에서 높은 결과를 보였으며, 그 이상의 고도에서는 점차 감소하는 결과를 보였다. 속도에 따른 결과로는 2m/s와 3m/s는 5m에서 높은 인식률을 가지고, 4m/s는 4m에서 높은 인식률을 보였다.

Fig. 17.

Recognition rates of paper cups in AutoML vision

표 2는 종합적인 실험 결과를 보여준다. 실험 결과에서 알 수 있듯이, 5m 고도에서 대부분 높은 인식률을 보였으며, 속도 측면에서는 3m/s 속도에서 높은 인식률을 보였다. 이를 통해 평균적으로, 고도가 5m이고 속도가 3m/s인 경우에 주어진 하드웨어 환경에서 최적의 영상 데이터를 획득할 수 있음을 알 수 있다.

Summary of the experiments

기존 연구[5]에서, 낮은 고도에서 높은 인식률을 보일 것이라는 가설과 달리 실험 결과는 다른 결과를 보였다. 이 연구에서는 속도가 가장 느린 2m/s에서 가장 높은 인식률을 보일 것이라 예상하였다.

그러나 실제 결과는 3m/s 속도에서 더 높은 인식률 결과를 보였다. 기존 연구와 본 연구 결과를 종합해 볼 때, 드론의 고도나 속도 외에 영상 센서 설정 상태, 기후 등의 다양한 요인이 인식률에 영향을 미치는 것으로 판단되며, 향후 이에 대한 추가적인 연구가 요구된다.

표 3은 기존 연구와 본 연구의 비교 평가 결과를 보여준다. 기존 연구에서는 고도가 5m일 때 총 7가지 실험에서 높은 인식률을 보였고, 고도가 6m일 때 총 3가지 실험에서 높은 인식률을 보였다. 따라서 평균적으로 5m가 최적 고도로 산출되었다. 본 연구에서는 고도가 3m와 5m일 때 높은 인식률을 보였지만 평균적으로 5m가 최적 고도로 산출되었다. 결과적으로, 기존 연구와 본 연구에서의 결과 값이 5m에서 가장 높은 인식률을 보였음을 알 수 있다.

Comparative evaluation


Ⅵ. 결론 및 향후 연구

이 논문은 고도는 더불어 속도가 쓰레기 인식률에 미치는 영향을 기술하였다. 대표적인 쓰레기 유형을 선정하여 학습을 수행하였고, 드론의 다양한 고도 및 속도별로 쓰레기 데이터를 수집하였다. 학습된 모델에 수집한 데이터를 입력하여 인식률을 확인하였다. 실험 및 평가를 통해 정확한 영상을 획득하기 위한 드론의 최적 고도는 5m, 최적 속도는 3m/s임을 확인하였다. 느린 속도에서 더 나은 영상 정보를 획득할 것이라는 가설과는 달리 3m/s 속도에서의 인식률 가장 높았다. 이러한 결과는 영상 센서의 상태, 날씨 등의 외적 요인 등에 의한 것으로 추정된다.

향후 연구로서, 쓰레기 인식률에 영향을 미치는 다양한 요인을 고려한 분석 연구가 요구된다. 또한 실험을 수행하는 과정에서 획득된 영상 내의 객체가 손실되거나 객체가 중복되는 문제를 확인하였다. 이러한 손실이나 중복성 문제는 정확한 쓰레기 개수를 파악할 때 문제가 될 수 있다. 따라서 향후 객체 손실이나 중복성 문제를 해결할 수 있는 연구가 요구된다.

Acknowledgments

"이 연구는 2019년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구(2019R1I1A3A01060826)."

References

  • D.-C. Seo and J.-P. Kim, "Comparison and Analysis of Monitoring Methods for Marine Debris on Beach", Journal of Korea Society of Waste Management, Vol. 36, No. 8, pp. 802-810, Dec. 2019. [https://doi.org/10.9786/kswm.2019.36.8.802]
  • G. J. Kim, "After determining the exact amount of emissions, it is necessary to reduce the amount of generation", Yonhapnews, Mar. 27, 2019.
  • C. Martin, S. Parkes, Q. Zhang, X. Zhang, M. F. McCabe, and C. M. Duarte, "Use of unmanned aerial vehicles for efficient beach litter monitoring", Marine Pollution Bulletin, Vol. 131, pp. 662-673, Jun. 2018. [https://doi.org/10.1016/j.marpolbul.2018.04.045]
  • D. K. Chung, M. H. Lee, H. Y. Kim, and I. P. Lee, "Development of the Real Time Marin Debris Detection System base on the Deep Learning and Drone Image", Proceedings of Korean Society for Geospatial Information Science, pp. 136-138, Nov. 2019.
  • Y. Lee and D. Jeong, "On Drone Altitude and Trash Recognition Rate", The Journal of Korean Institute of Information Technology, Vol. 19, No. 1, pp. 33-42, Jan. 2021. [https://doi.org/10.14801/jkiit.2021.19.1.33]
  • M. Turesinin, A. Kabir, T. Mollah, S. Sarwar, and M. S. Hosain, "Aquatic Iguana: A Floating Waste Collecting Robot with IoT Based Water Monitoring System", The 7th International Conference on Electrical Engineering, Computer Sciences and Informatics (EECSI), pp. 21-25, Oct. 2020. [https://doi.org/10.23919/EECSI50503.2020.9251890]
  • S. Watanasophon and S. Ouitrakul, "Garbage Collection Robot on the Beach using Wireless Communications", The 3rd International Conference on Informatics, Environment, Energy and Applications, Vol. 66, pp. 92-96, 2014.
  • Korea Marine Environment Management Corporation, Korea National Beach Litter Monitoring Program, https://www.koem.or.kr, . [accessed: Apr. 15, 2021]
  • Y. D. Joo, "Drone Image Classification based on Convolutional Neural Networks", The Journal of the Institute of Internet Broadcasting and Communication, Vol. 17, No. 5, pp. 97- 102, Oct. 2017.
  • G. V. Nardari, R. A. F. Romero, V. C. Guizilini, W. E. C. Mareco, D. M. B. P. Milori, P. R. Villas-Boas, and I. A. D. Santos, "Crop Anomaly Identification with Color Filters and Convolutional Neural Networks", 2018 Latin American Robotic Symposium, 2018 Brazilian Symposium on Robotics (SBR) and 2018 Workshop on Robotics in Education (WRE), Joao Pessoa, Brazil, No. 36, pp. 82-101, Mar. 2020. [https://doi.org/10.1109/LARS/SBR/WRE.2018.00072]
  • C. Kim, C. Son, and D. Jeong, "A Method of Classifying Species and Conditions of Street Trees Based on Bag of Visual Words", The Journal of Korean Institute of Information Technology, Vol. 16, No. 3, pp. 115-123, Mar. 2018. [https://doi.org/10.14801/jkiit.2018.16.3.115]
  • Y.-D. Joo, "A Study on the Construction of Near-Real Time Drone Image Preprocessing System to use Drone Data in Disaster Monitoring", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 18, No. 3, pp. 143-149, Jun. 2018.
  • Y. J. Seo, Y. S. Jin, and T. J. Park, "Navigation System Using Drone for Visitors", Journal of Digital Contents Society, Vol. 17, No. 1, pp. 109-114, Feb. 2017. [https://doi.org/10.9728/dcs.2017.18.1.109]
  • K.-H. Park and Y.-H. Kim, "Skin Condition Analysis of Facial Image using Smart Device : Based on Acne, Pigmentation, Flush and Blemish", Journal of Advanced Information Technology and Convergence, Vol. 8, No. 2, pp. 47-58, Dec. 2018. [https://doi.org/10.14801/JAITC.2018.8.2.47]
  • D. J. Park, K. E. Park, G. H. Kim, H. E. Ahn, and S. Y. Choi, "Implementation of Automatic Separator Using Arduino UART Communications", Proceedings of Symposium of the Korean Institute of communications and Information Sciences, pp. 836-837, Jan. 2019.
  • M. Yang and G. Thung, "Classification of Trash for Recyclability Status", CS229 Project Report 2016, 2016.
  • Dive Against Debris, http://www.projectaware.org/diveagainstdebris/, . [accessed: Mar. 27, 2021]
  • Seoul Regional Aviation Administration, http://www.molit.go.kr/sroa/, . [accessed: Mar. 27, 2021]
저자소개
정 동 원 (Dongwon Jeong)

1997년 2월 : 군산대학교 컴퓨터과학과(이학사)

1999년 2월 : 충북대학교 전자계산학과(이학석사)

2004년 2월 : 고려대학교 컴퓨터학과(이학박사)

2005년 3월 ~ 현재 : 군산대학교 소프트웨어융합공학과 교수

관심분야 : 데이터베이스, 데이터 표준화, 빅데이터, 사물인터넷, 지능형 융합 서비스, 엣지컴퓨팅

이 유 정 (Yujeong Lee)

2017년 3월 ~ 2021.02 : 군산대학교 소프트웨어융합공학과(공학사)

2021년 3월 ~ 현재 : 군산대학교 소프트웨어융합공학과(석사과정)

관심분야 : 사물인터넷, 데이터베이스, 프로그래밍

이 석 훈 (Sukhoon Lee)

2009년 2월 : 고려대학교 전자및정보공학부(학사)

2011년 2월 : 고려대학교 컴퓨터·전파통신공학과(공학석사)

2016년 2월 : 고려대학교 컴퓨터·전파통신공학과(공학박사)

2016년 3월 ~ 2017년 3월 : 아주대학교 의료정보학과 연구강사

2017년 4월 ~ 현재 : 군산대학교 소프트웨어융합공학과 부교수

관심분야 : 사물인터넷, 메타데이터, 센서 레지스트리, 시맨틱 웹, 경로 예측

Fig. 1.

Fig. 1.
System architecture

Fig. 2.

Fig. 2.
Data collection process

Fig. 3.

Fig. 3.
Setting an altitude and speed of the drone

Fig. 4.

Fig. 4.
Subset of learning data

Fig. 5.

Fig. 5.
Experimental data

Fig. 6.

Fig. 6.
Recognition result by custom vision

Fig. 7.

Fig. 7.
Recognition result by AutoML vision

Fig. 8.

Fig. 8.
Recognition rates of plastic bags in custom vision

Fig. 9.

Fig. 9.
Recognition rates of beverage bottles in custom vision

Fig. 10.

Fig. 10.
Recognition rates of cans in custom vision

Fig. 11.

Fig. 11.
Recognition rates of wooden chopsticks in custom vision

Fig. 12.

Fig. 12.
Recognition rates of paper cups in custom vision

Fig. 13.

Fig. 13.
Recognition rates of plastic bags in AutoML vision

Fig. 14.

Fig. 14.
Recognition rates of beverage bottles in AutoML vision

Fig. 15.

Fig. 15.
Recognition rates of cans in AutoML vision

Fig. 16.

Fig. 16.
Recognition rates of wooden chopsticks in AutoML vision

Fig. 17.

Fig. 17.
Recognition rates of paper cups in AutoML vision

Table 1.

Environments for implementation

Feature Specification
OS Windows 10 Pro
CPU Intel(R) Xeon(R) CPU E3-1270 v5 @ 3.60GHz 3.60GHz
RAM 16.00GB
OS Android 9.0
Tools Java
Model name DJI Phantom 4 Pro V2.0
Camera 1“20MP

Table 2.

Summary of the experiments

Cloud Service Trash Altitude Speed Recognition rates
Custom Vision Plastic bag 5m 3m/s 87.2%
Beverage bottle 5m 3m/s 85.2%
Can 5m 3m/s 84.1%
Wooden chopsticks 5m 3m/s 82.4%
Paper cup 5m 2m/s 84.1%
AutoML Vision Plastic bag 5m 3m/s 90%
Beverage bottle 5m 2m/s, 3m/s 89%
Can 5m 3m/s 87%
Wooden chopsticks 3m, 5m 2m/s, 3m/s 84%
Paper cup 5m 3m/s 88%

Table 3.

Comparative evaluation

Cloud
service
Trash Existing Proposed
Altitude Recognition rates Altitude Recognition rates
Custom
Vision
Plastic bag 6m 88.8% 5m 87.2%
Beverage bottle 5m 91.3% 5m 85.2%
Can 5m 90.8% 5m 84.1%
Wooden chopsticks 5m 86.6% 5m 82.4%
Paper cup 5m 89.9% 5m 84.1%
AutoML
Vision
Plastic bag 5m 90% 5m 90%
Beverage bottle 5m 89% 5m 89%
Can 6m 88% 5m 87%
Wooden chopsticks 6m 89% 3m, 5m 84%
Paper cup 5m 89% 5m 88%