Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 18, No. 10, pp.45-53
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Oct 2020
Received 18 Aug 2020 Revised 27 Oct 2020 Accepted 30 Oct 2020
DOI: https://doi.org/10.14801/jkiit.2020.18.10.45

회전익 드론 접촉식 충전스테이션 도킹을 위한 딥러닝 기반 자동착륙시스템 구현

김영규* ; 최대영** ; 백승현* ; 정상우** ; 김대년***
*경북IT융합산업기술원 융합연구팀 선임연구원
**경북IT융합산업기술원 융합연구팀 연구원
***경북IT융합산업기술원 융합연구팀 책임연구원(교신저자)
Implementation of Deep Learning based Automatic Landing System for Docking on Rotary Wing Drone Contact Charging Stations
Young-Kyu Kim* ; Daeyoung Choi** ; Seung Hyun Paik* ; SangWoo Jung** ; Dae-Nyeon Kim***

Correspondence to: Dae-Nyeon Kim Gyeongbuk Institute of IT Convergence Industry Technology, 106-ho, 25, 12-gil, Gongdan 9-ro, Jinrang-eup, Gyeongsan-si, Gyeongbuk, 38463, S. Korea Tel:+82-53-245-5071, Email: dnkim@gitc.or.kr

초록

무인항공기(unmanned aerial vehicle)의 한 종류인 회전익 드론(rotary wing drone)은 지상의 구조물, 도로, 지형에서 비롯되는 각종 제약요소들을 극복할 수 있기 때문에 물류운송, 관측, 감시, 측량과 같은 다양한 분야에 적용하기 위해 연구 개발 되고 있다. 하지만 이러한 임무를 수행할 때 배터리 기술의 한계로 인한 회전익 드론의 짧은 비행시간은 가장 큰 걸림돌이 되고 있으며, 이를 극복하기 위하여 다양한 방식의 드론 충전 스테이션(drone charging stations)과 운영 방법이 제안되고 있다. 이에 본 논문은 임무 수행 중인 회전익 드론이 접촉식 충전스테이션에 충전 단자를 정확하게 도킹할 수 있는 정밀 자동착륙시스템을 제안하고 구현하였다. 구현된 자동착륙시스템은 드론 충전스테이션의 실시간 인식 및 추적을 위해 FC-HarDNet 기반의 객체인식 알고리즘과 픽셀 기반 거리측정을 하였고, 드론의 배터리 충전을 위한 정확한 자동착륙을 보조한다. 실험결과, 제안하는 자동착륙시스템의 착륙거리오차는 기존 방법들에 비해 약 54.59%로 감소하였다.

Abstract

Rotary wing drones (RWDs), which are a kind of unmanned aerial vehicles, have been researched and developed to employ various fields, such as logistics transport, observation, surveillance, and measurement, because drones are able to overcome most restrictions resulted from constructions, roads, and geographical features of ground. However, RWDs have a short flight time caused battery issues, and the flight time becomes a major setback for those work. To relieve battery issues of RWDs, various charging stations and its management for RWDs have been proposed. Therefore, this paper proposes and implements a precise automatic landing system in order to accurately dock on a charging port in contact type charging stations for accomplishing missions of RWDs. The implemented automatic landing system uses FC-HarDNet based object detection algorithm and pixel-based distance computation for real-time recognition and tracking of the drone charging stations, and helps exact auto-landing for charging battery of drones. In experimental results, the landing distance error of proposed automatic landing system decreased by around 54.59% as compared with previous researches.

Keywords:

drone, drone charging station, automatic landing, object detection, return-to-launch mode

Ⅰ. 서 론

최근 무인항공기(unmanned aerial vehicle)의 잠재된 활용성에 대한 사회적 기대가 높아지며 무인항공기에 대한 연구가 활발하다. 특히 무인항공기의 한 종류인 회전익 드론(rotary wing drone)은 수직이착륙과 자유로운 방향 전환이 가능하기 때문에 지상의 구조물, 도로, 지형에서 비롯되는 각종 제약요소들을 극복할 수 있다. 뿐만 아니라 회전익 드론은 지정된 높이와 위치를 유지하는 호버링(hovering)이 가능하므로 물류운송, 관측, 감시, 측량과 같은 다양한 사회 분야에 회전익 드론을 사용하려는 시도가 계속되고 있다[1]-[3].

드론 시장에 선보인 회전익 드론은 초급자용, 레저용, 산업용 등 다양한 기체와 플랫폼(platform)이 있으며, 산업용 드론의 경우 오픈 소스 기반의 플랫폼(open-source platform)에 고성능 임베디드 시스템(embedded system)을 결합하여 복잡하고 정교한 작업을 수행할 수 있는 시스템을 탑재한 드론으로 발전하고 있다[1]-[2]. 최근 드론은 고해상도 카메라와 딥러닝(deep-learning) 알고리즘 처리가 가능한 병렬 처리 기반 컴퓨터 시스템을 탑재하는 연구가 활발하게 이루어지고 있으며 이를 기반으로 고난이도의 임무 수행이 가능한 드론을 개발하려는 연구가 보고되고 있다.[4]-[5].

회전익 드론의 비행시간은 드론의 성능평가와 임무수행 적합성을 판단하는 가장 중요한 항목 중 하나이다. 특히 전기 에너지를 사용하는 회전익 드론의 비행시간은 드론의 전장부품들이 에너지를 얼마나 효율적으로 소모하고 관리하는지도 중요하지만, 배터리팩(battery pack)의 경량화 기술과 배터리 용량(mAh)에 결정적이다[6]. 하지만 현재 배터리 제조 기술은 수요 분야의 요구를 충족하기 어려운 수준에 머물러 있으며, 특히 배터리 용량과 배터리 무게 및 크기는 트레이드오프(trade off) 관계에 놓여있기 때문에 단기간에 해결하기 어려운 상황이다. 드론의 임무 수행 반경과 비행시간을 늘리기 위한 방편으로 드론 충전스테이션(charging station)과 이를 운용하는 군집 비행에 대한 연구결과들이 제안되고 있다.[6][7].

드론 충전스테이션은 비행을 마친 회전익 드론을 배터리 탈착 없이 충전하기 위해 개발된 드론 충전기이다[8]. 드론 충전스테이션을 사용하면 배터리 탈부착 과정이 불필요하기 때문에, 드론의 자동 이착륙 기능을 사용하고 여러 대의 드론을 협업하게 되면 임무 수행 시간과 반경이 더욱 길어지기 때문에 더욱 고난이도의 임무 수행이 가능해진다. 드론 충전스테이션은 크게 비접촉식과 접촉식 방식으로 분류할 수 있다[6][8]. 비접촉식 방식은 충전 단자들 간의 접촉 없이 드론 충전스테이션 위에 드론을 착륙하면 주로 유도기전력을 이용하여 충전하는 방식으로, 무선 충전 장치가 드론의 페이로드(payload)에 추가되어야 하고 긴 충전시간이 요구되는 단점이 있다. 접촉식 방식은 충전단자들 간의 접촉을 통해 충전이 이루어지는 방식으로 충전단자가 드론의 페이로드에 추가되어야 하고 충전포트에 정확하게 도킹되도록 정밀한 착륙이 요구되는 단점이 있지만 충전시간이 빠른 장점이 있다. 이에 본 논문은 회전익 드론이 접촉식 충전스테이션의 충전단자에 정확하게 도킹하기 위한 영상 기반의 자동착륙시스템을 제안하고 구현하였다. 본 논문에서는 다양한 형태의 충전 스테이션을 인식하고 추적(tracking) 가능하게 하기 위해 딥러닝(deep-learning) 알고리즘을 사용하였으며, 실시간 처리를 위한 미션 컴퓨터(mission computer)를 통해 실제 드론에 적용하여 성능을 검증하였다.


Ⅱ. 회전익 드론 기술 동향

본 장에서는 회전익 드론의 기본적인 전장 구조에 대해 설명하고, 본 논문에서 개발하고 구현한 회전익 드론의 충전스테이션 연구 동향과 운영에 대해 설명한다.

2.1 회전익 드론의 전장 구조

회전익 드론은 모터부, 전기부, 센서부, 전파부, 처리부 등 다양한 부품들로 구성된다. 그림 1은 일반적인 회전익 드론의 시스템 구조를 나타낸 그림이다. Battery는 brushless motor들과 기타 전자부품에 전기를 공급하는데 Power module과 UBEC(ultimate battery eliminator circuit)을 통해 정전원을 안정적으로 공급한다. ESC(electronic speed control)는 모터의 회전 속도를 제어하는데 사용된다. Telemetry와 Receiver & Antenna는 조정기 및 외부 컴퓨터와 드론의 상태 설정, 임무 정보, 드론의 제어 신호를 주고받기 위한 통신에 사용된다. 그 외, 카메라 제어를 위한 Gimbal controller와 Gimbal, 드론의 자세와 위치 보정을 위한 GPS 및 각종 센서, 특정 임무 수행을 위한 추가적인 장치 등이 적재 가능하다. Flight controller(FC)는 드론의 비행과 관련된 제어를 주도한다. Carrier board는 드론 전장 부품들의 이기종 프로토콜을 중재하는 다리(bridge) 역할을 한다. 미션 컴퓨터(Mission computer)는 복잡하고 정교한 미션 수행을 위한 고성능 임베디드 시스템으로서, 최근에는 딥러닝 알고리즘을 수행하기 위한 병렬컴퓨터를 탑재하고 있다. 본 논문의 자동착륙시스템을 위한 딥러닝 기반 영상처리 알고리즘 수행과 비행제어정보 처리는 미션 컴퓨터를 통해 수행하였다.

Fig. 1.

A system architecture of rotary wing drones

2.2 회전익 드론 충전스테이션

드론의 충전스테이션은 크게 비접촉식과 접촉식 방식으로 분류된다. 비접촉식 충전스테이션에 대한 연구는 비접촉식 방식의 단점인 충전시간을 단축하기 위한, 유도기전력을 발생시키는 코일에 대한 연구와 전기에너지 전달에 대한 연구가 많이 발표되고 있다[8]-[10]. 접촉식 충전스테이션은 충전단자와 물리적 접촉이 되어야하기 때문에 드론이 충전 단자들을 쉽게 결합 가능하게 하는 다양한 형태의 기구들이 많이 개발되고 있다. 접촉식 충전 스테이션은 물리적인 접촉이 요구되므로 충전단자의 표준이 없는 한 호완성 문제가 발생할 수 있으며 충전 단자를 적재/노출시켜야 하는 단점이 있다. 하지만 비접촉식 방식에 비해 충전 속도가 빠르기 때문에 산업 현장에서는 현실적인 대안으로 기대된다[6]. 따라서 본 논문에서는 접촉식 충전 방식을 사용하는 드론스테이션을 대상으로 개발 및 구현을 진행하였다. 또한 최근에는 회전익 드론의 1회 충전 배터리 수명을 훨씬 벗어나는 임무들이 요구됨에 따라 배터리 충전은 임무 수행 중 필수 동작으로 받아들여지고 있으며 이를 지원하기 위한 드론 자가 충전 및 자동 충전 시스템에 대한 연구들이 발표되고 있다. 자가 및 자동충전을 위한 연구들은 드론 스스로 충전 스테이션이 있는 위치로 돌아가서 자가 충전하는 연구, 드론들의 협업 과정에서 충전으로 인한 임수 수행 방법에 대한 정책, 무인 자동 충전스테이션에 대한 연구들이 발표되고 있다[6]-[10].


Ⅲ. Real-Time Segmentation을 이용한 충전 스테이션 자동착륙 알고리즘

기존 회전익 드론 자동 착륙 방식은 접촉식 충전스테이션을 사용하기에는 착륙 오차 범위가 크기 때문에 적합하지 않다. 이에 본 논문에서는 접촉식 충전스테이션에 회전익 드론이 자가 충전 가능한 정도의 착륙거리오차를 가지기 위한 자동착륙시스템을 개발하였다.

3.1 HarDNet을 이용한 충전스테이션 인식 방법

본 논문에서는 드론이 착륙하기 전에 충전 스테이션을 자동으로 구분하기 위하여, 기존의 객체 인식(object detection) 알고리즘을 이용하지 않고 세그멘테이션(segmentation)기반의 알고리즘을 이용하였다[11]. 본 논문에서 연구한 충전스테이션은 단순한 사각형태의 충전기를 벗어나, 드론의 구조 혹은 착륙 지형에 따라 다양한 형태를 가질 수 있다. 따라서 기존의 객체 인식 알고리즘을 사용하게 되면 정확한 인스턴스(instance)를 통해 화면상 충전기의 위치여부는 파악 가능하지만, 인식된 객체가 사각 경계(box boundary) 형태를 가지므로 정확한 충전스테이션의 모양을 판가름하기 쉽지 않다[12]. 따라서 형태적으로 다양한 충전스테이션을 인식하기 위해서는 충전스테이션의 반복되는 패턴의 인식이 필요하며, 그 패턴의 인식은 이미지를 각 픽셀 단위로 어느 클래스에 속하는지 예측할 시맨틱 세그멘테이션(semantic segmentation)을 통해 인식하여 충전 스테이션의 정확한 위치와 형태를 분석하고자 한다.

세그멘테이션의 기본원리는 게슈탈트(Gestalt) 시지각 이론에 의거해, 유사성, 근접성, 공통성, 연속성, 통폐합의 조건들에서 같은 충전 홀의 모양이 서로서로 연속적인 하나의 형태로 구성하고 있는지를 판단한다. 시맨틱 세그멘테이션의 대표적 알고리즘은 FCN (fully convolutional networks)이 있다. 하지만 본 논문에서는 드론 기체의 미션 컴퓨터상에서 실시간으로 충전스테이션을 추적해야 하므로 더 가볍고 빠르고 정확한 네트워크(network)가 요구된다. SOTA (state-of-the-art)에서는 딥러닝 모델들의 분석 지표로써 low MACs, small model size, high accuracy 등을 중요하게 평가한다. 하지만 최근의 ResNet, MobileNet, DenseNet 등은 real world inference time에서 적합하지 않음을 주장하였다[13].

HarDNet은 ICCV2019에서 처음 공개되었으며 실시간 임베디드용 네트워크에 최적화 되도록 “Small, Fast, Accurate”를 강조하였다[13]. 그림 2는 FC-HarDNet의 구조를 나타낸 그림이다.

Fig. 2.

FC-HarDNet network structure

FC-HarDNet은 ResNet과 같이 residual connection을 넣어 shortcut connection을 구성하였고, 입력 채널과 출력 채널의 비율을 맞추었다. 또한 컨볼루션 커널(convolution kennel) 사이즈는 3×3이지만 간혹 1×1을 포함하며, 콘볼루션 블록(block)은 콘볼루션, batchnorm(batch normalization), ReLU (rectified linear unit)로 구성하였다. 이러한 네트워크 구성으로 FC-HarDNet은 메모리 트래픽(traffic)을 줄이고 병목현상(bottleneck)을 완화하였다. 실제 많은 실시간 시멘틱 네트워크 알고리즘들과 비교 시에도 그림 3과 같이 FC-HarDNet은 높은 fps(frame per second)를 유지하며 높은 mIoU(mean intersection over union)를 가지고 있으며 현재 SOTA내 높은 점수를 유지하고 있다. 따라서 본 논문에서는 임베디드 기반 미션 컴퓨터에 적재하기 적합하고 충전스테이션 인식 및 추적을 실시간 처리 가능한 FC-HarDNet을 사용하는 것을 제안한다.

Fig. 3.

Mean IoU vs. Fps measured by Nvidia profiler

충전스테이션의 인식을 위해 다양한 위치에서 촬영된 2,000장의 충전 스테이션 사진을 레이블링(labeling) 하여 학습데이터로 이용하였으며, batch size는 32장으로 실시하여 총 400,000번의 학습을 실시하였다.

그림 4는 학습 외 이미지를 사용한 추론(inference)을 통해 충전스테이션을 인식한 결과이다. 세그멘테이션 성능평가는 기본적으로 mIoU를 사용하는 것이 일반적이지만, 이미지에서 객체가 뚜렷하고 개체 분류가 한 가지 뿐이므로 본 논문에서는 픽셀 정확도(pixel accuracy)를 세그멘테이션 성능평가 척도로 사용하였다. 충전스테이션 인식 성능평가는 학습 외 50장의 데이터를 이용하였으며 픽셀 정확도는 평균 78.5를 기록하였다.

Fig. 4.

Result of detecting a drone charging station

3.2 착륙 알고리즘

본 논문은 세그멘테이션을 통해 획득된 충전스테이션의 위치 정보를 드론의 정밀 자동착륙에 활용한다. 먼저, 드론이 충전스테이션 주변에 도달하기 위해 GPS를 이용하는 기존 RTL (return-to-lunch) 기능을 사용한다. 높이는 10 m를 유지한다. 드론이 착륙지점에 도달 후 실시간 영상처리를 통해 충전 스테이션이 ROI (region of interest) 내부에 존재하게 됨과 동시에 HarDNet을 이용한 자동 충전 스테이션 추론을 통해 충전스테이션이 인식되게 된다. 충전스테이션이 인식되면, 그림 5와 같이 카메라의 중점 픽셀 좌표(x1, y1)와 충전스테이션 중앙 픽셀의 좌표(x2, y2)를 구하고 두 좌표 사이의 거리를 구한다. 구해진 두 좌표사이의 거리가 설정된 문턱 값(threshold value) 보다 크다면 두 지점의 거리가 짧아지는 방향으로 기체를 이동할 수 있게 FC에 제어 정보를 보낸다. 착륙 과정에서 미션 컴퓨터는 실시간으로 획득되는 영상을 분석하여 중점을 구하여 두 점을 비교 하는 연산을 통해 문턱 값을 만족하는 지점으로 드론을 이동한다.

Fig. 5.

A comparison between the detected charging station and the center in real-time image

본 논문에서 사용된 카메라의 최대 해상도는 7,952×5,304(3:2)이며 10m로 호버링 시 지상의 1 픽셀 당 실제 거리는 약 1.5mm로 나타낼 수 있다. 사용된 충전스테이션은 50cm×50cm 이다. 따라서 그림 6과 같이, 기체의 이동에 따라 두 점의 거리가 0에 가까워지도록 지속적으로 알고리즘이 수행되며, 외풍과 기타 오차를 감안하여 두 중점 픽셀 사이의 거리를 문턱 값 50 픽셀(7.5cm) 이내로 근접 할 시 드론은 호버링 모드로 진행하며 충전단자 도킹을 위해 수직으로 착륙하게 된다.

Fig. 6.

The flowchart of the proposed automatic landing algorithm for docking on a drone charging station


Ⅳ. 실 험

본 장에서는 제안하는 자동착륙시스템의 성능을 검증하기 위한 실험환경, 실험방법, 실험결과에 대해 설명한다.

4.1 자동착륙시스템 구현 및 실험환경

실험을 위해 제작된 드론은 쿼드로터(quadrotor) 방식의 기체이며 마주보는 두 모터 사이가 1,207mm인 크기를 가진다. 연구 수행을 FixHawk의 Flight Control를 기체 제어를 위한 FC로 사용하였으며, 딥러닝 연산과 드론의 제어를 위한 알고리즘 연산용으로 미션 컴퓨터(NVIDIA Jetson AGX Xivier)를 결합하였다. 표 1은 실험을 위해 드론에 적재한 미션 컴퓨터의 사양을 나타낸다.

The specification of the mission computer

FC 보드에서 수신기 연결 방식은 RX mode에서 PPM방식으로 연결하였으며 신호가 끊어지는 상황을 대비하여 UART 포트로 Telemetry를 추가하였으며 사용된 케이블은 TTL to RS232를 사용하였다. 예외적인 드론의 상태 및 상황에 대해서는 Telemetry를 통하여 데이터를 받을 수 있도록 하였다. GPS 모듈과의 통신은 UART와 I2C를 사용하여 연결하여 GPS와 FC 보드의 연결을 다양화 하여 신호의 단절을 대비하였다.

본 논문에서 제작한, 착륙지점으로 사용되는 접촉식 충전스테이션은 그림 7과 같이 50×50(cm)의 크기를 가지며, 대응하기 어려운 기상 변수 등으로 인한 오차를 가지고 착륙하더라도 충전 단자들 간의 결합이 쉽게 될 수 있도록 충전 포트를 군집형태로 50개 이상 배치하였다. 실제 연구에 쓰인 충전스테이션의 충전포트는 67개로 구성된다. 충전포트 각각은 계단형태의 4개 복층단자 구조로서 전원단자 2개 및 제어단자 2개로 구성되어 있다. 전원단자의 접촉면적은 (+)접점 및 (-)접점 모두 657㎣이며, 허용전류는 최소 1A/㎠ 이상, 접점저항은 100mΩ·㎠ 이하가 되도록 설계하였다. 충전스테이션은 기체의 형태와 지형에 따라 벌집 포트의 모양과 구성을 다양하게 변경 할 수 있으며, 본 논문에서는 사각형 기본 형태 스테이션을 실험에 사용하였다.

Fig. 7.

Drone charging station for rotary wing drones for the experiment

논문에서 구현한 자동착륙시스템을 검증하기 위해 2.3 mph의 남동풍이 부는 공역에서 실험을 수행하였으며, 바닥에 충전스테이션을 설치하고 5분간 자유비행, RTL, 그리고 제안하는 자동착륙 알고리즘을 통한 착륙 순으로 자동착륙시스템의 성능을 검증하였다. 옥외 비행 실험은 풍량, 습도, 온도, GPS 수신 오차 등 실험조건을 완벽하게 통제할 수 없기 때문에 반복 실험을 통해 이러한 외부 영향을 최대한 배제하였다. 실험은 동일한 장소에서 총 10회의 자동착륙을 수행하였고, 측정된 착륙지점의 오차거리를 평가하고 충전단자 결합 여부를 확인하였다.

4.2 실험 결과

본 연구에서 제안하는 딥러닝 네트워크 기반 착륙알고리즘을 통한 총 10회 자동착륙 실험결과는 표 2와 같다.

Experimental results

표 2의 Distance는 총 10회의 자동착륙 실험 각각에서 측정된 착륙거리오차를 나타낸다. 착륙지점과 충전스테이션 지점 간의 착륙거리오차는 약 0.04m 에서 0.47m 범위로 측정되었으며, 측정된 직선거리들은 그림 8과 같이 충전스테이션의 내부에 존재하는 것을 확인하였고 드론의 충전단자가 충전스테이션에 성공적으로 결합되는 것을 확인하였다. 총 10번의 드론 착륙 실험을 통해 측정된 착륙 지점과 충전스테이션의 평균 직선거리는 0.187m로 계산되었다. 제안하는 자동착륙시스템의 우수성을 검증하기 위하여 기존 자동 착륙 시스템의 연구 결과들과 본 논문의 실험 결과를 비교 하였다[14]-[18].

Fig. 8.

Landing points resulting from experiments repeated 10 times

신뢰성 있는 비교를 위해 기존 연구 및 본 연구의 결과에서 최소거리와 최대거리를 이용한 평균값을 산출하여 비교하였다. 비교 결과는 표 3과 같으며, GPS based RTL이 본 논문에서 제안하는 방법보다 90.65% 감소하여 가장 큰 감소율을 보였으며, Camera based RTL이 14.42% 감소하여 가장 작은 감소율을 보였다. 이러한 실험을 통해, 본 논문에서 제안하는 자동착륙시스템이 기존 연구들에 비해 약 54.09% 착륙거리오차가 감소하여 정확도가 향상된 것을 알 수 있었다.

Comparisons between results of previous and this researches


Ⅴ. 결 론

본 논문은 회전익 드론의 임무 수행 능력을 높이기 위한 연구로서, 접촉식 드론 충전스테이션에 자가 정밀 착륙하기 위한 딥러닝 기반 영상처리를 사용하는 자동착륙시스템을 개발하고 구현하였다. 또한 본 연구에서는 드론의 실제 착륙 정확도를 향상시키기 위해, 실시간 영상 처리가 가능한 세그멘테이션 기반 딥러닝 알고리즘을 채택하여 실제 드론 기체의 미션 컴퓨터에 탑재하였다. 실험을 위해 제작한 드론을 이용하여 실제 비행 및 착륙 실험을 수행 하였고, 실험을 통해 착륙 목표 지점에 대한 착륙거리오차가 54.59% 감소한 것과, 드론의 충전 단자가 충전스테이션에 정확하게 도킹되는 것을 확인하였다. 향후 연구에서는 충전스테이션의 형태를 더욱 다양하게 하고, 접촉식뿐만 아니라 비접촉 방식의 충전스테이션을 대상으로 한 실험을 실시할 예정이며, 그에 따른 데이터 세트를 확보하여 인식에 대한 정확도를 향상시킬 계획이다.

Acknowledgments

이 논문(저서)은 2019년도 경상북도와 경북과학기술진흥센터의 4차산업혁명 핵심기술개발사업의 지원을 받아 수행된 연구임(SF318002A) / 본 연구는 국토교통부 ‘공공혁신조달 연계 무인이동체 및 SW플랫폼 개발사업’의 연구비지원(19DPIW-C153675-01#)에 의해 수행되었습니다.

References

  • Y. J. Kim, J. H. Oh, and C. N. Lee, “Electric Power Line Dips Measurement Using Drone-based Photogrammetric Techniques”, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 35, No. 6, pp. 453-460, Dec. 2017.
  • I. Kang and T. Kim, “Accuracy Evaluation of 3D Slope Model Produced by Drone Taken Images”, Journal of the Korean Geo-Environmental Society, Vol. 21, No. 6, pp. 13-17, Jun. 2020.
  • EH. Sun, T. H. Luat, and YT. Kim, “A Study on the Image-based Automatic Landing System of Mini Drone", Proceedings of KIIS Fall Conference 2015, Cheongju, Chungbuk, Korea, Vol. 25, No. 2. pp. 91-92, Dec. 2015.
  • JW. Choi, DK. Hwang, JW. An, and JM. Lee, “Object Detection using CNN for Automatic Landing of Drones”, Journal of the Institute of Electronics and Information Engineers, Vol. 56, No. 5, pp. 82-90, May. 2019. [https://doi.org/10.5573/ieie.2019.56.5.82]
  • S. J. Son and D. H. Kim, “Autonomous Flight of Artificial Intelligence Drone based on CNN”, Proceeding of The Korean Society of Mechanical Engineers Spring Conference 2019, Seongwipo, Jeju, Korea, pp. 79-80, Apr. 2019.
  • K. Choi, S. Choi, SK. Youm, and Y. S. Cho, “Implementation of Battery Management Circuit to Improve Flight Time for Unmanned Aerial Vehicles”, The Journal of Korean Institute of Communications and Information Sciences, Vol. 45, No. 2, pp. 285-288, Feb. 2020. [https://doi.org/10.7840/kics.2020.45.2.285]
  • T. Min and SM. Chang, “Consideration on the Limitation of Battery for a Rotary-wing Drone”, Proceeding of The Korean Society of Propulsion Engineers Fall Conference 2018, Busan, Korea, pp. 327-331, Dec. 2018.
  • C. H. Choi, H. J. Jang, S. G. Lim, H. C. Lim, S. H. CHo, and I. Gaponov, “Automatic Wireless Drone Charging Station”, Proceeding of 2016 International Conference on Control, Automation and Information Sciences(ICCAIS), Ansan, Korea, pp. 27-29, Oct. 2016.
  • A. Raciti, S. A. Rizzo, and G. Susinni, “Drone Charging Stations over the Buildings Based on a Wireless Power Transfer System”, Proceedings on 2018 IEEE/IAS 54th Industrial and Commercial Power Systems Technical Conference (I&CPS), Niagara Falls, ON, Canada. pp. 1-6, May 2018. [https://doi.org/10.1109/ICPS.2018.8369967]
  • S. Aldhaher, P. D. Mitcheson, J. M. arteaga, G. Kkelis, and D. C. Yates, “Light-weight Wireless Power Transfer for Mid-Air Charging of Drones”, Proceeding on 2017 11th European Conference on Antennas and Propagation (EUCAP), Paris, France, pp. 336-340, March 2017. [https://doi.org/10.23919/EuCAP.2017.7928799]
  • J. Long, E. Shelhamer and T. Darrell, Fully “Convolutional Networks for Semantic Segmentation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, pp. 3431-3440, June. 2015 [https://doi.org/10.1109/CVPR.2015.7298965]
  • S. REN, K. He, R. Girshick and J. Sun, “Faster r-cnn: Towards real-time object detection with region proposal networks”, Advances in neural information processing systems, pp. 91-99, Jan. 2016
  • P. Chao, C. S. Kao, Y. S. Ruan, C. H. Huang and Y. L. Lin, “HarDNet: A Low Memory Traffic Network", Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea, pp. 3552-351, Sep. 2019 [https://doi.org/10.1109/ICCV.2019.00365]
  • J. E. Lee and H. J, Mun, “Design of Deep Learning-Based Automatic Drone Landing Technique Using Google Maps API", Journal of JIC, Vol. 18, No. 1, pp. 79-85, Jan. 2020. [https://doi.org/10.22678/JIC.2020.18.1.079]
  • J. W. Choi, D. K. Hwang, J. W. An, and J. M. Lee, "Object Detection Using CNN for Automatic Landing of drones", Journal of the Institute of Electronics and Information Engineers, Vol. 56, No. 5, pp. 82-90, May. 2019. [https://doi.org/10.5573/ieie.2019.56.5.82]
  • H. S. Lee, D. S. Lee, S. W. Cho, H. K. Kim and D. H. Shim, “Design of Vision-based Autonomous Landing System on the Moving Vehicle using the UAV”, Proceedings of 2016 International Conference on Unmanned Aircraft Systems (ICUAS), VA, USA, pp. 1-7, Jun. 2016.
  • E. H. Sun, T. H. Luat and Y. T. Kim, “A Study on the Image-based Automatic Landing System of MiniDron”, International Journal of Fuzzy Logic and Intelligent Systems, Vol. 25, No. 6, pp. 91-92, Oct. 2015
  • H. B. Kim, T. E. and Song, C. H. Park, and B. I. Choi, “A Study on Vision-based Landing Mark Tracking Algorithm for Delivery Drones”, Journal of the Institute of Electronics and Information Engineers, Vol. 56, No. 1, pp. 75-84, Jan. 2019 [https://doi.org/10.5573/ieie.2019.56.1.75]
저자소개
김 영 규 (Young-Kyu Kim)

2005년 2월 : 경주대학교 전자공학과(공학사)

2011년 2월 : 경북대학교 모바일통신공학과(공학석사)

2016년 8월 : 경북대학교 전자공학부(공학박사)

2020년 10월 현재 : (재)경북IT융합산업기술원 선임연구원

관심분야 : 컴퓨터 아키텍처, SoC, 드론

최 대 영 (Daeyoung Choi)

2014년 2월 : 영남대학교 생명공학부(공학사)

2018년 2월 : 경북대학교 전자공학부(공학석사)

2020년 10월 현재 : (재)경북IT융합산업기술원 연구원

관심분야 : 컴퓨터 비전, 머신러닝

백 승 현 (Seungh Hyun Paik)

2006년 2월 : 경북대학교 전자공학과(공학사)

2009년 8월 : 경북대학교 전자공학부(공학석사)

2016년 8월 : 경북대학교 전자공학부(공학박사)

2020년 10월 현재 : 경북IT융합산업기술원 선임연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

정 상 우 (SangWoo Jung)

2014년 2월 : 경일대학교 로봇응용학과(공학사)

2016년 8월 : 경북대학교 전자공학부(공학석사)

2020년 10월 현재 : 경북IT융합산업기술원 연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

김 대 년 (Dae-Nyeon Kim)

2001년 2월 : 울산대학교 제어계측(공학사)

2003년 2월 : 울산대학교 전기전자정보시스템공학(공학석사)

2010년 2월: 울산대학교 전기전자정보시스템공학(공학박사)

2020년 10월 현재 : 경북IT융합산업기술원 책임연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

Fig. 1.

Fig. 1.
A system architecture of rotary wing drones

Fig. 2.

Fig. 2.
FC-HarDNet network structure

Fig. 3.

Fig. 3.
Mean IoU vs. Fps measured by Nvidia profiler

Fig. 4.

Fig. 4.
Result of detecting a drone charging station

Fig. 5.

Fig. 5.
A comparison between the detected charging station and the center in real-time image

Fig. 6.

Fig. 6.
The flowchart of the proposed automatic landing algorithm for docking on a drone charging station

Fig. 7.

Fig. 7.
Drone charging station for rotary wing drones for the experiment

Fig. 8.

Fig. 8.
Landing points resulting from experiments repeated 10 times

Table 1.

The specification of the mission computer

GPU 512-core Volta GPU with Tensor Cores
CPU 8-core ARM v8.2 64-bit CPU
Memory 32GB 256-Bit LPDDR4x | 137GB/s
Storage 32GB eMMC 5.1
DL Accelerator (2x) NVDLA Engines
Size 105 mm x 105 mm x 65 mm
Deployment Module (Jetson AGX Xavier)

Table 2.

Experimental results

Test number Distance (m)
1 0.1
2 0.04
3 0.21
4 0.19
5 0.23
6 0.35
7 0.47
8 0.15
9 0.07
10 0.2
Mean 0.187

Table 3.

Comparisons between results of previous and this researches

Method Distance
(m)
Mean
(m)
Reduction ratio (%)
GPS based RTL 1.0 ~ 3.0 2.0 90.65
Advanced GPS based RTL 0.7 ~ 2.0 1.35 86.15
AI(YOLO) based RTL 0.3 ~ 1.5 0.9 79.22
Camera based RTL 0.137 ~ 0.3 0.219 14.42
AI(RT-Segmentation) based RTL 0.04 ~ 0.47 0.187 -