Current Issue

그림 1은 제안 시스템의 전체적인 구조를 보여준다. 시스템은 크게 드론을 제어하는 역할을 수행하는 지상관제시스템인 GCS(Ground Control System)와 쓰레기 영상을 수집하는 역할인 Drone, 수집된 영상에서 쓰레기를 인식하는 역할을 수행하는 Cloud Service로 구성되어 있다.

Fig. 1. 
System architecture

GCS 영역은 세부적으로 Altitude Setting 모듈, Speed Setting 모듈, Path Setting 모듈로 이루어져 있다. Altitude Setting 모듈은 드론의 고도를 설정하는 역할을 수행하며, 고도의 범위는 3m에서 10m까지 1m 간격으로 설정한다.

Speed Setting 모듈은 드론의 속도를 설정하는 역할을 수행하며, 속도의 범위는 2m/s, 3m/s, 4m/s로 설정한다. Path Setting 모듈은 드론의 자율주행 경로를 설정하는 역할을 수행한다. 경로는 경유 지점인 웨이포인트(Waypoint)를 지정하여 설정한다.

GCS와 Drone은 Ocusync Protocol을 하여 통신하고, GCS에서 전달한 값을 Drone 영역을 통해 비행에 필요한 기능을 설정한다. Drone 영역은 세부적으로 Autonomous Driving 모듈, Altitude Control 모듈, Speed Control 모듈, Shooting Control 모듈로 이루어져 있다. Autonomous Driving 모듈은 GCS에서의 Path Setting 모듈에서 전달받은 웨이포인트 지점으로 자율주행을 수행하는 역할을 한다.

Altitude Control 모듈과 Speed Control 모듈은 GCS에서 전달받은 드론의 고도와 속도의 값에 맞게 드론을 제어하는 기능을 수행한다. Shooting Control 모듈은 데이터 촬영 기능을 수행한다.

Cloud Service 영역을 통해 Drone 영역에서 촬영한 영상 데이터의 인식률 확인 기능을 수행한다. Cloud Service 영역은 클라우드 서비스의 종류인 Custom Vision과 AutoML Vision을 탑재한다. 두 클라우드 서비스의 Build Model 모듈은 실험에 필요한 모델을 구축하는 역할을 수행하고, Check Recognition Rate 모듈은 쓰레기의 인식 결과를 확인하는 기능을 수행한다. 마지막으로, Model Evaluation 모듈을 사용하여 구축된 모델에 대한 평가 기능을 수행한다.

쓰레기 데이터를 수집하는 과정을 UML(Unified modeling language)의 순차 다이어그램(Sequence diagram)으로 표현하면 그림 2와 같으며, 기본적인 데이터 수집 프로세스는 [5]의 데이터 수집 프로세스와 거의 동일하다. 사용자는 드론을 제어하기 위하여 GCS와 드론의 연결을 시도하고 드론은 사용자에게 연결 상태를 반환한다. 연결이 완료되면 사용자는 드론의 고도와 속도를 입력하여 드론에 전달한다. 전달된 값으로 드론의 고도와 속도가 설정되고 그 결과를 사용자에게 반환한다. 고도와 속도가 설정되면 사용자는 웨이포인트 값을 전달한다. 이때, 웨이포인트는 적정 거리 이상의 유효한 값이 입력되어야 하며, 유효하지 않은 값이 입력될 경우 웨이포인트 값을 재설정해야 한다. 유효한 웨이포인트 값이 설정되면 사용자는 데이터를 수집을 시작하기 위한 명령을 드론에 전달하게 된다. 드론은 설정된 고도와 속도, 그리고 웨이포인트 경로를 이용하여 자율주행을 수행하며 영상 데이터를 획득한다. 드론의 비행이 완료되면 드론에서 획득한 영상 데이터를 사용자에게 전송한다. 마지막으로, 사용자는 드론과 GCS 간 연결을 해제한다.

Fig. 2. 
Data collection process

구현 환경은 표 1과 같으며, 구현 및 실험 평가를 위해 기존 연구[5]와 동일한 환경을 설정한다. 드론을 제어하는 GCS 앱을 개발하며, 고도는 물론 속도 요소를 고려한다. 따라서 기존 연구에서 개발한 GCS와 달리 속도 변수 값을 설정할 수 있도록 구현한다.

구현 및 실험은 Windows 10 Pro 운영 체제 상에서 이루어진다. CPU는 표 1에서와 같이 Intel Xeon 3.60GHz를 사용하며, RAM은 16GB를 탑재한 시스템을 이용한다. 실험을 위한 앱 구현을 위한 Mobile OS는 Android 9.0을 사용하며, 개발 언어는 Java를 사용한다. 구현 및 실험을 위한 드론은 DJI Phantom 4 Pro V2.0을 사용하며, 영상 센서로서 1인치 20MP의 카메라를 드론에 탑재한다.

그림 3은 GCS 앱을 통해 드론의 고도 및 속도를 설정하는 화면을 보여준다. 앞서 기술하였듯이, 이 논문에서 구현한 GCS 앱은 속도 값을 설정할 수 있는 항목을 지닌다. Altitude 텍스트 필드에는 3m부터 10m까지 드론의 고도를 입력한다. 최저 고도인 3m는 사람의 평균 키를 고려하여 안전사고를 예방한다. 최고 고도인 10m는 쓰레기를 형태를 식별할 수 있는 고도의 범위로 정의하였다.

Fig. 3. 
Setting an altitude and speed of the drone

Speed 라디오 박스는 드론의 속도를 설정하는 부분이다. 드론의 기본 속도인 2m/s를 최저 속도로 정의한다. 사전 테스트로 5m/s 이상의 속도로 설정한 결과, 영상의 손실이 발생하여 최고 속도를 4m/s로 제한하였다.

쓰레기 인식률 실험을 위해 Microsoft의 Custom Vision과 Google의 AutoML Vision 클라우드 서비스를 사용한다. 그림 4는 모델을 구축하기 위한 학습 데이터의 일부를 보여준다. 쓰레기 유형은[17]에서 정의한 분류에 따라 대표적인 유형을 선정하였고 선정한 유형은 플라스틱, 비닐봉지, 종이컵, 캔, 나무젓가락이다. 학습 데이터는 기존 연구[5]와의 비교를 위하여 총 2,500개의 동일한 데이터를 사용하여 모델을 구축한다.

Fig. 4. 
Subset of learning data

그림 5는 드론을 이용하여 고도와 속도를 다른 실험 데이터를 보여준다. 고도에 따라 쓰레기의 크기가 다르고, 속도에 따라 영상의 흔들림 정도가 다른 것을 볼 수 있다. 즉, 그림 상단 첫 번째 그림과 하단 두 번째 그림은 실제 실험에서 고도와 속도에 따라 획득된 영상의 상태 차이를 보여준다. 이와 같이 고도는 물론 속도의 변화에 따른 영상을 획득하고 이러한 실험 데이터를 이용하여 인식률의 차이를 분석한다.

Fig. 5. 
Experimental data

그림 6은 Custom Vision을 이용하여 쓰레기 인식한 결과를 보여준다. Custom Vision은 실험 데이터를 입력 받아 라벨 값과 쓰레기의 인식률이 출력된다. Custom Vision은 이미지에 라벨 값을 정의하여 모델을 빠르게 구축할 수 있는 특성을 지닌다.

Fig. 6. 
Recognition result by custom vision

그림 7은 AutoML Vision을 이용한 쓰레기 인식 결과를 보여준다. Custom Vision과 마찬가지로 실험 데이터가 입력으로 들어가며, 출력으로는 라벨 값과 쓰레기의 인식률이 표시된다.

Fig. 7. 
Recognition result by AutoML vision

그러나 AutoML Vision은 사용자가 직접 경계 박스를 지정하여 라벨값을 부여하기 때문에 출력으로는 객체에 경계 박스가 표시된다.

무인 비행 장치 안전관리 가이드[18]에 따라 비행 허가 구역이고 넓은 공간을 가진 학교 내 운동장에서 실험을 진행하였다. 운동장은 갇힌 실내 공간이 아니므로 날씨 환경을 고려하여 실험을 진행하였다. 실험 항목으로는 쓰레기 유형인 비닐봉지와 음료수병, 캔, 나무젓가락, 종이컵으로 선정하며, 3m에서 10m까지 1m 간격의 8가지 고도와 2m/s, 3m/s, 4m/s로 3가지 속도를 달리하여 실험을 수행한다. 마지막으로 클라우드 서비스의 종류인 Custom Vision과 AutoML Vision을 사용하여 쓰레기를 인식률을 평가한다. 따라서 총 240가지의 실험 결과에 대한 평가를 수행한다.

그림 8은 Custom Vision을 이용한 비닐봉지 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도가 5m인 경우에 가장 높은 인식률을 보였으며, 그 이상의 고도에서는 점차 낮아지는 결과를 보였다. 속도에 따른 결과에서, 비교적 낮은 고도인 3m, 4m, 5m에서는 속도가 3m/s인 경우에 높은 인식률을 보였으며, 그 이상의 고도에서는 2m/s에서 높은 인식률을 보였다. 또한, 속도가 4m/s일 때의 인식률이 2m/s와 3m/s인 경우보다 현저히 낮은 인식률을 보였다.

Fig. 8. 
Recognition rates of plastic bags in custom vision

그림 9는 Custom Vision을 이용한 음료수병 인식률 실험 결과를 보여준다. 고도에 따른 결과로는 고도가 4m와 5m인 경우에 높은 인식률을 보였고 그 이상의 고도에서는 낮은 인식률을 보였다. 속도에 따른 인식률 결과에서, 고도가 3m부터 5m까지는 속도가 3m/s인 경우에 높은 인식률을 보이고, 고도가 6m 이상인 경우에는 2m/s가 높은 인식률을 보였다. 또한, 속도가 4m/s인 경우, 고도가 4m인 경우를 제외한 나머지 고도에서는 다른 속도에 비해 낮은 인식률을 보였다.

Fig. 9. 
Recognition rates of beverage bottles in custom vision

그림 10은 Custom Vision을 이용한 캔 인식률 실험 결과를 보여준다. 고도에 따른 인식 결과는 고도가 4m와 5m인 경우에 높은 인식률을 보였고, 그 이상의 고도에서는 점차 낮아지는 결과를 보였다.

Fig. 10. 
Recognition rates of cans in custom vision

속도에 따른 인식 결과에서, 고도가 3m, 4m, 5m이고 속도가 3m/s인 경우에 높은 인식률을 보였으며, 그 이상의 고도에서는 속도가 2m/s인 경우에 높은 인식률을 보였다. 속도가 4m/s인 경우에는 고도가 4m인 경우에 높은 인식률을 보였고 고도가 5m 이상인 경우에는 인식률이 점차 감소하는 경향을 보였다.

그림 11은 Custom Vision을 이용한 나무젓가락 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도가 3m와 5m인 경우에 높은 인식률을 보였고, 고도가 6m 이상인 경우에는 인식률이 점차 감소하는 결과를 보였다. 속도에 따른 결과에서, 속도가 2m/s와 4m/s이고 고도가 3m인 경우에 높은 인식률을 보였으며, 속도가 3m/s인 경우에는 고도가 5m인 경우에 높은 인식률을 보였다.

Fig. 11. 
Recognition rates of wooden chopsticks in custom vision

그림 12는 Custom Vision을 이용한 종이컵 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도 5m까지는 고도가 증가할수록 인식률이 증가하는 결과를 보였으며, 그 이상의 고도에서는 점차 인식률이 감소하는 경향을 보였다. 속도에 따른 결과에서, 속도가 2m/s, 3m/s, 4m/s인 경우에는 고도 5m에서 가장 높은 인식률을 보였다.

Fig. 12. 
Recognition rates of paper cups in custom vision

그림 13은 AutoML Vision을 이용한 비닐봉지 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도 5m에서 가장 높은 인식률을 보였으며, 그 이상의 고도에서는 점차 낮아지는 결과를 보였다. 속도에 따른 결과에서, 속도가 2m/s와 3m/s이고 고도가 5m인 경우에 높은 인식률을 보였고, 속도가 4m/s인 경우 4m 고도에서 높은 인식률을 보였다.

Fig. 13. 
Recognition rates of plastic bags in AutoML vision

그림 14는 AutoML Vision에서의 음료수병 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, Custom Vision과 동일하게 4m와 5m 고도에서 높은 인식률을 보였고, 그 이상의 고도에서는 인식률이 점차 낮아지는 경향을 보였다. 속도에 따른 결과에서, 2m/s와 3m/s 속도에서는 5m 고도에서 높은 인식률을 보였고, 4m/s 속도인 경우에는 Custom Vision과 동일하게 4m 고도에서 높은 인식률을 보였다.

Fig. 14. 
Recognition rates of beverage bottles in AutoML vision

그림 15는 AutoML Vision에서의 캔 인식률 실험 결과를 보여준다. 고도에 따른 결과에서, 고도가 4m와 5m인 경우에 높은 인식률을 보였으며, 그 이상의 고도에서는 점차 인식률이 낮아지는 경향을 보였다. 속도에 따른 결과에서, 드론의 속도가 2m/s와 3m/s인 경우에는 고도가 5m일 때 높은 인식률을 보였으며, 속도가 4m/s인 경우에는 고도가 4m일 때 높은 인식률을 보였다.

Fig. 15. 
Recognition rates of cans in AutoML vision

그림 16은 AutoML Vision에서의 나무젓가락 인식률 실험 결과를 보여준다. 고도에 따른 인식률 결과는 Custom Vision과 동일하게 고도가 3m와 5m인 경우에 높은 인식률을 보였다. 속도에 따른 인식 결과에서, 드론의 속도가 2m/s이거나 4m/s이고 고도가 3m인 경우와 속도가 3m/s이고 고도가 5m인 경우에 높은 인식률 결과를 보였다.

Fig. 16. 
Recognition rates of wooden chopsticks in AutoML vision

그림 17은 AutoML Vision을 이용한 종이컵 인식률 실험 결과를 보여준다. 고도는 4m와 5m에서 높은 결과를 보였으며, 그 이상의 고도에서는 점차 감소하는 결과를 보였다. 속도에 따른 결과로는 2m/s와 3m/s는 5m에서 높은 인식률을 가지고, 4m/s는 4m에서 높은 인식률을 보였다.

Fig. 17. 
Recognition rates of paper cups in AutoML vision

표 2는 종합적인 실험 결과를 보여준다. 실험 결과에서 알 수 있듯이, 5m 고도에서 대부분 높은 인식률을 보였으며, 속도 측면에서는 3m/s 속도에서 높은 인식률을 보였다. 이를 통해 평균적으로, 고도가 5m이고 속도가 3m/s인 경우에 주어진 하드웨어 환경에서 최적의 영상 데이터를 획득할 수 있음을 알 수 있다.

기존 연구[5]에서, 낮은 고도에서 높은 인식률을 보일 것이라는 가설과 달리 실험 결과는 다른 결과를 보였다. 이 연구에서는 속도가 가장 느린 2m/s에서 가장 높은 인식률을 보일 것이라 예상하였다.

그러나 실제 결과는 3m/s 속도에서 더 높은 인식률 결과를 보였다. 기존 연구와 본 연구 결과를 종합해 볼 때, 드론의 고도나 속도 외에 영상 센서 설정 상태, 기후 등의 다양한 요인이 인식률에 영향을 미치는 것으로 판단되며, 향후 이에 대한 추가적인 연구가 요구된다.

표 3은 기존 연구와 본 연구의 비교 평가 결과를 보여준다. 기존 연구에서는 고도가 5m일 때 총 7가지 실험에서 높은 인식률을 보였고, 고도가 6m일 때 총 3가지 실험에서 높은 인식률을 보였다. 따라서 평균적으로 5m가 최적 고도로 산출되었다. 본 연구에서는 고도가 3m와 5m일 때 높은 인식률을 보였지만 평균적으로 5m가 최적 고도로 산출되었다. 결과적으로, 기존 연구와 본 연구에서의 결과 값이 5m에서 가장 높은 인식률을 보였음을 알 수 있다.