Home

회전익 드론은 모터부, 전기부, 센서부, 전파부, 처리부 등 다양한 부품들로 구성된다. 그림 1은 일반적인 회전익 드론의 시스템 구조를 나타낸 그림이다. Battery는 brushless motor들과 기타 전자부품에 전기를 공급하는데 Power module과 UBEC(ultimate battery eliminator circuit)을 통해 정전원을 안정적으로 공급한다. ESC(electronic speed control)는 모터의 회전 속도를 제어하는데 사용된다. Telemetry와 Receiver & Antenna는 조정기 및 외부 컴퓨터와 드론의 상태 설정, 임무 정보, 드론의 제어 신호를 주고받기 위한 통신에 사용된다. 그 외, 카메라 제어를 위한 Gimbal controller와 Gimbal, 드론의 자세와 위치 보정을 위한 GPS 및 각종 센서, 특정 임무 수행을 위한 추가적인 장치 등이 적재 가능하다. Flight controller(FC)는 드론의 비행과 관련된 제어를 주도한다. Carrier board는 드론 전장 부품들의 이기종 프로토콜을 중재하는 다리(bridge) 역할을 한다. 미션 컴퓨터(Mission computer)는 복잡하고 정교한 미션 수행을 위한 고성능 임베디드 시스템으로서, 최근에는 딥러닝 알고리즘을 수행하기 위한 병렬컴퓨터를 탑재하고 있다. 본 논문의 자동착륙시스템을 위한 딥러닝 기반 영상처리 알고리즘 수행과 비행제어정보 처리는 미션 컴퓨터를 통해 수행하였다.

Fig. 1. 
A system architecture of rotary wing drones

드론의 충전스테이션은 크게 비접촉식과 접촉식 방식으로 분류된다. 비접촉식 충전스테이션에 대한 연구는 비접촉식 방식의 단점인 충전시간을 단축하기 위한, 유도기전력을 발생시키는 코일에 대한 연구와 전기에너지 전달에 대한 연구가 많이 발표되고 있다[8]-[10]. 접촉식 충전스테이션은 충전단자와 물리적 접촉이 되어야하기 때문에 드론이 충전 단자들을 쉽게 결합 가능하게 하는 다양한 형태의 기구들이 많이 개발되고 있다. 접촉식 충전 스테이션은 물리적인 접촉이 요구되므로 충전단자의 표준이 없는 한 호완성 문제가 발생할 수 있으며 충전 단자를 적재/노출시켜야 하는 단점이 있다. 하지만 비접촉식 방식에 비해 충전 속도가 빠르기 때문에 산업 현장에서는 현실적인 대안으로 기대된다[6]. 따라서 본 논문에서는 접촉식 충전 방식을 사용하는 드론스테이션을 대상으로 개발 및 구현을 진행하였다. 또한 최근에는 회전익 드론의 1회 충전 배터리 수명을 훨씬 벗어나는 임무들이 요구됨에 따라 배터리 충전은 임무 수행 중 필수 동작으로 받아들여지고 있으며 이를 지원하기 위한 드론 자가 충전 및 자동 충전 시스템에 대한 연구들이 발표되고 있다. 자가 및 자동충전을 위한 연구들은 드론 스스로 충전 스테이션이 있는 위치로 돌아가서 자가 충전하는 연구, 드론들의 협업 과정에서 충전으로 인한 임수 수행 방법에 대한 정책, 무인 자동 충전스테이션에 대한 연구들이 발표되고 있다[6]-[10].

본 논문에서는 드론이 착륙하기 전에 충전 스테이션을 자동으로 구분하기 위하여, 기존의 객체 인식(object detection) 알고리즘을 이용하지 않고 세그멘테이션(segmentation)기반의 알고리즘을 이용하였다[11]. 본 논문에서 연구한 충전스테이션은 단순한 사각형태의 충전기를 벗어나, 드론의 구조 혹은 착륙 지형에 따라 다양한 형태를 가질 수 있다. 따라서 기존의 객체 인식 알고리즘을 사용하게 되면 정확한 인스턴스(instance)를 통해 화면상 충전기의 위치여부는 파악 가능하지만, 인식된 객체가 사각 경계(box boundary) 형태를 가지므로 정확한 충전스테이션의 모양을 판가름하기 쉽지 않다[12]. 따라서 형태적으로 다양한 충전스테이션을 인식하기 위해서는 충전스테이션의 반복되는 패턴의 인식이 필요하며, 그 패턴의 인식은 이미지를 각 픽셀 단위로 어느 클래스에 속하는지 예측할 시맨틱 세그멘테이션(semantic segmentation)을 통해 인식하여 충전 스테이션의 정확한 위치와 형태를 분석하고자 한다.

세그멘테이션의 기본원리는 게슈탈트(Gestalt) 시지각 이론에 의거해, 유사성, 근접성, 공통성, 연속성, 통폐합의 조건들에서 같은 충전 홀의 모양이 서로서로 연속적인 하나의 형태로 구성하고 있는지를 판단한다. 시맨틱 세그멘테이션의 대표적 알고리즘은 FCN (fully convolutional networks)이 있다. 하지만 본 논문에서는 드론 기체의 미션 컴퓨터상에서 실시간으로 충전스테이션을 추적해야 하므로 더 가볍고 빠르고 정확한 네트워크(network)가 요구된다. SOTA (state-of-the-art)에서는 딥러닝 모델들의 분석 지표로써 low MACs, small model size, high accuracy 등을 중요하게 평가한다. 하지만 최근의 ResNet, MobileNet, DenseNet 등은 real world inference time에서 적합하지 않음을 주장하였다[13].

HarDNet은 ICCV2019에서 처음 공개되었으며 실시간 임베디드용 네트워크에 최적화 되도록 “Small, Fast, Accurate”를 강조하였다[13]. 그림 2는 FC-HarDNet의 구조를 나타낸 그림이다.

Fig. 2. 
FC-HarDNet network structure

FC-HarDNet은 ResNet과 같이 residual connection을 넣어 shortcut connection을 구성하였고, 입력 채널과 출력 채널의 비율을 맞추었다. 또한 컨볼루션 커널(convolution kennel) 사이즈는 3×3이지만 간혹 1×1을 포함하며, 콘볼루션 블록(block)은 콘볼루션, batchnorm(batch normalization), ReLU (rectified linear unit)로 구성하였다. 이러한 네트워크 구성으로 FC-HarDNet은 메모리 트래픽(traffic)을 줄이고 병목현상(bottleneck)을 완화하였다. 실제 많은 실시간 시멘틱 네트워크 알고리즘들과 비교 시에도 그림 3과 같이 FC-HarDNet은 높은 fps(frame per second)를 유지하며 높은 mIoU(mean intersection over union)를 가지고 있으며 현재 SOTA내 높은 점수를 유지하고 있다. 따라서 본 논문에서는 임베디드 기반 미션 컴퓨터에 적재하기 적합하고 충전스테이션 인식 및 추적을 실시간 처리 가능한 FC-HarDNet을 사용하는 것을 제안한다.

Fig. 3. 
Mean IoU vs. Fps measured by Nvidia profiler

충전스테이션의 인식을 위해 다양한 위치에서 촬영된 2,000장의 충전 스테이션 사진을 레이블링(labeling) 하여 학습데이터로 이용하였으며, batch size는 32장으로 실시하여 총 400,000번의 학습을 실시하였다.

그림 4는 학습 외 이미지를 사용한 추론(inference)을 통해 충전스테이션을 인식한 결과이다. 세그멘테이션 성능평가는 기본적으로 mIoU를 사용하는 것이 일반적이지만, 이미지에서 객체가 뚜렷하고 개체 분류가 한 가지 뿐이므로 본 논문에서는 픽셀 정확도(pixel accuracy)를 세그멘테이션 성능평가 척도로 사용하였다. 충전스테이션 인식 성능평가는 학습 외 50장의 데이터를 이용하였으며 픽셀 정확도는 평균 78.5를 기록하였다.

Fig. 4. 
Result of detecting a drone charging station

본 논문은 세그멘테이션을 통해 획득된 충전스테이션의 위치 정보를 드론의 정밀 자동착륙에 활용한다. 먼저, 드론이 충전스테이션 주변에 도달하기 위해 GPS를 이용하는 기존 RTL (return-to-lunch) 기능을 사용한다. 높이는 10 m를 유지한다. 드론이 착륙지점에 도달 후 실시간 영상처리를 통해 충전 스테이션이 ROI (region of interest) 내부에 존재하게 됨과 동시에 HarDNet을 이용한 자동 충전 스테이션 추론을 통해 충전스테이션이 인식되게 된다. 충전스테이션이 인식되면, 그림 5와 같이 카메라의 중점 픽셀 좌표(x1, y1)와 충전스테이션 중앙 픽셀의 좌표(x2, y2)를 구하고 두 좌표 사이의 거리를 구한다. 구해진 두 좌표사이의 거리가 설정된 문턱 값(threshold value) 보다 크다면 두 지점의 거리가 짧아지는 방향으로 기체를 이동할 수 있게 FC에 제어 정보를 보낸다. 착륙 과정에서 미션 컴퓨터는 실시간으로 획득되는 영상을 분석하여 중점을 구하여 두 점을 비교 하는 연산을 통해 문턱 값을 만족하는 지점으로 드론을 이동한다.

Fig. 5. 
A comparison between the detected charging station and the center in real-time image

본 논문에서 사용된 카메라의 최대 해상도는 7,952×5,304(3:2)이며 10m로 호버링 시 지상의 1 픽셀 당 실제 거리는 약 1.5mm로 나타낼 수 있다. 사용된 충전스테이션은 50cm×50cm 이다. 따라서 그림 6과 같이, 기체의 이동에 따라 두 점의 거리가 0에 가까워지도록 지속적으로 알고리즘이 수행되며, 외풍과 기타 오차를 감안하여 두 중점 픽셀 사이의 거리를 문턱 값 50 픽셀(7.5cm) 이내로 근접 할 시 드론은 호버링 모드로 진행하며 충전단자 도킹을 위해 수직으로 착륙하게 된다.

Fig. 6. 
The flowchart of the proposed automatic landing algorithm for docking on a drone charging station

실험을 위해 제작된 드론은 쿼드로터(quadrotor) 방식의 기체이며 마주보는 두 모터 사이가 1,207mm인 크기를 가진다. 연구 수행을 FixHawk의 Flight Control를 기체 제어를 위한 FC로 사용하였으며, 딥러닝 연산과 드론의 제어를 위한 알고리즘 연산용으로 미션 컴퓨터(NVIDIA Jetson AGX Xivier)를 결합하였다. 표 1은 실험을 위해 드론에 적재한 미션 컴퓨터의 사양을 나타낸다.

FC 보드에서 수신기 연결 방식은 RX mode에서 PPM방식으로 연결하였으며 신호가 끊어지는 상황을 대비하여 UART 포트로 Telemetry를 추가하였으며 사용된 케이블은 TTL to RS232를 사용하였다. 예외적인 드론의 상태 및 상황에 대해서는 Telemetry를 통하여 데이터를 받을 수 있도록 하였다. GPS 모듈과의 통신은 UART와 I2C를 사용하여 연결하여 GPS와 FC 보드의 연결을 다양화 하여 신호의 단절을 대비하였다.

본 논문에서 제작한, 착륙지점으로 사용되는 접촉식 충전스테이션은 그림 7과 같이 50×50(cm)의 크기를 가지며, 대응하기 어려운 기상 변수 등으로 인한 오차를 가지고 착륙하더라도 충전 단자들 간의 결합이 쉽게 될 수 있도록 충전 포트를 군집형태로 50개 이상 배치하였다. 실제 연구에 쓰인 충전스테이션의 충전포트는 67개로 구성된다. 충전포트 각각은 계단형태의 4개 복층단자 구조로서 전원단자 2개 및 제어단자 2개로 구성되어 있다. 전원단자의 접촉면적은 (+)접점 및 (-)접점 모두 657㎣이며, 허용전류는 최소 1A/㎠ 이상, 접점저항은 100mΩ·㎠ 이하가 되도록 설계하였다. 충전스테이션은 기체의 형태와 지형에 따라 벌집 포트의 모양과 구성을 다양하게 변경 할 수 있으며, 본 논문에서는 사각형 기본 형태 스테이션을 실험에 사용하였다.

Fig. 7. 
Drone charging station for rotary wing drones for the experiment

논문에서 구현한 자동착륙시스템을 검증하기 위해 2.3 mph의 남동풍이 부는 공역에서 실험을 수행하였으며, 바닥에 충전스테이션을 설치하고 5분간 자유비행, RTL, 그리고 제안하는 자동착륙 알고리즘을 통한 착륙 순으로 자동착륙시스템의 성능을 검증하였다. 옥외 비행 실험은 풍량, 습도, 온도, GPS 수신 오차 등 실험조건을 완벽하게 통제할 수 없기 때문에 반복 실험을 통해 이러한 외부 영향을 최대한 배제하였다. 실험은 동일한 장소에서 총 10회의 자동착륙을 수행하였고, 측정된 착륙지점의 오차거리를 평가하고 충전단자 결합 여부를 확인하였다.

본 연구에서 제안하는 딥러닝 네트워크 기반 착륙알고리즘을 통한 총 10회 자동착륙 실험결과는 표 2와 같다.

표 2의 Distance는 총 10회의 자동착륙 실험 각각에서 측정된 착륙거리오차를 나타낸다. 착륙지점과 충전스테이션 지점 간의 착륙거리오차는 약 0.04m 에서 0.47m 범위로 측정되었으며, 측정된 직선거리들은 그림 8과 같이 충전스테이션의 내부에 존재하는 것을 확인하였고 드론의 충전단자가 충전스테이션에 성공적으로 결합되는 것을 확인하였다. 총 10번의 드론 착륙 실험을 통해 측정된 착륙 지점과 충전스테이션의 평균 직선거리는 0.187m로 계산되었다. 제안하는 자동착륙시스템의 우수성을 검증하기 위하여 기존 자동 착륙 시스템의 연구 결과들과 본 논문의 실험 결과를 비교 하였다[14]-[18].

Fig. 8. 
Landing points resulting from experiments repeated 10 times

신뢰성 있는 비교를 위해 기존 연구 및 본 연구의 결과에서 최소거리와 최대거리를 이용한 평균값을 산출하여 비교하였다. 비교 결과는 표 3과 같으며, GPS based RTL이 본 논문에서 제안하는 방법보다 90.65% 감소하여 가장 큰 감소율을 보였으며, Camera based RTL이 14.42% 감소하여 가장 작은 감소율을 보였다. 이러한 실험을 통해, 본 논문에서 제안하는 자동착륙시스템이 기존 연구들에 비해 약 54.09% 착륙거리오차가 감소하여 정확도가 향상된 것을 알 수 있었다.