Home

그림 1은 전체 시스템 구성을 나타내며, 드론과 이동로봇으로 구성된다. 그림 1의 Pixhawk는 드론의 FC(Flight Controller)로 드론이 날 수 있게 제어하고, MCU는 Atmega128을 이용하며 이동로봇의 제어를 담당한다. Pi Cam은 드론에 부착된 비전 센서를 나타내고 영상을 획득할 수 있다. 본 논문에서는 320x240 크기의 영상을 획득한다. Raspberry Pi는 비전 센서를 통해 얻은 영상 데이터를 TLD 알고리즘을 이용하여 물체를 감지하고 드론에 내릴 명령을 MAVLINK 프로토콜로 전송한다. 또한 드론과 이동 로봇 간에 TCP/IP 통신을 이용하여 서로의 상태를 전송하여 협업을 한다.

Fig. 1. 
System overview

그림 2는 본 논문에서 사용된 머니퓰레이터를 장착한 드론의 외형이다. 드론이 실내에서 자세를 유지할 수 있도록 옵티컬플로우 센서와 Lidar 센서가 부착되어 있고 드론에 명령을 내릴 Linux 보드인 Raspberry pi를 장착하였다. 또한 드론에 장착된 머니퓰레이터는 2 자유도를 가지며 드론의 Yaw 축제어를 통해 3 자유도처럼 이용된다. 관절 좌표형의 3축 머니퓰레이터의 형태를 가지게 되고 다양한 방향과 원하는 위치로 작업을 할 수 있다.

Fig. 2. 
Appearance of the drone

그림 3은 머니퓰레이터를 장착한 지상로봇의 외형이다. 이동로봇에 장착된 머니퓰레이터는 5개의 관절을 가지고 있으며 2개의 관절은 손목 움직임과 End Effector 동작을 위한 관절이다. 본 논문에서 지상로봇은 한 좌표에 고정되어 있으며 머니퓰레이터의 End Effector 또한 하나의 좌표에 고정하여 실험을 진행하였다.

Fig. 3. 
Appearance of the mobile robot

드론이 지상로봇이 가지고 있는 물체를 추적하기 위해서는 영상 정보가 필요하다. 추적할 물체에 대한 영상 정보를 획득하기 위해 드론의 전방부에 pi cam을 설치하였다. 영상 내 물체의 위치를 얻기 위해서 추적과 학습 및 탐지를 실시간으로 수행하여 보다 견고한 추적이 가능한 TLD 알고리즘을 사용하였다.

그림 4는 드론에 부착된 pi cam을 통해 얻은 영상 정보에서 물체를 추적하기 위해 사용 TLD 알고리즘의 블록 다이어그램이다, 영상에서 물체를 검출하기 위해 ferns 알고리즘을 사용하고 추적하기 위하여 광류(Optical Flow)를 사용한다. 입력 영상이 들어오면 추적기와 검출기를 동시에 사용하여 물체를 찾는다. 추적기가 성공할 경우에는 추적기가 찾은 물체 영역을 검출기의 학습 데이터로 활용하여 검출기의 성능을 증가 시켜주고, 검출기와 추적기가 찾은 영역 중 서로 다른 부분은 검출기를 학습시키기 위한 데이터로 활용된다. 만일 추적기가 실패 할 경우에는 검출기가 성공할 때까지 기다리고 검출기가 성공한 위치로 추적기를 초기화 시켜준다. 이와 같은 과정을 통해 학습시킴으로써 추적기와 검출기가 가지는 단점을 서로 보완할 수 있다. 따라서 주변 잡음에 강인하며 다른 물체에 의해 추적할 물체가 가려지더라도 다시 물체를 추적할 수 있는 장점이 있다[8].

Fig. 4. 
Block diagram of the TLD algorithms

본 논문에서는 Raspberry pi에서 OpenCv3.2를 통해 TLD 알고리즘을 구현하였다. 비전 센서를 통해 얻은 영상에서 TLD 알고리즘을 사용하여 찾은 물체의 단일 프레임 경계 크기와 중심점을 이용하여 드론이 지상로봇이 가지고 있는 물체를 추적할 수 있게 한다.

Dronekit은 Ardupilot 비행 컨트롤러에 접근 및 제어가 가능하게 해주는 API로서 Raspberry Pi에서 실행되고 MAVLINK를 통해 비행 컨트롤러와 통신하여 드론 동작에 대한 지능을 높이며 민감한 작업에 대한 자동 조종 기능을 크게 향상시켜준다[9]. Dronekit는 연결된 드론의 원격 측정, 상태 및 매개변수 정보에 대한 프로그래밍 방식 액세스를 할 수 있고, 사용자 정의 메시지를 전송하여 드론 이동 및 작동에 대한 클래스 및 함수를 제공한다. 본 논문에서는 GPS 데이터를 받을 수 없는 실내에서 드론을 제어하기 위해 Dronekit 내 함수 중 value.channels 함수를 이용한다. 채널은 총 5채널을 사용하며 각 채널은 1000 ~ 2000의 범위 값을 가지며, 1 ~ 4 채널 순서대로 Pitch, Roll, Throttle, Yaw 값을 제어할 수 있고, 5번 채널은 드론의 모드를 제어할 수 있다.

그림 5는 드론이 TLD 알고리즘을 통해 얻은 물체의 위치정보를 토대로 추적하는 알고리즘 순서도이다. 먼저 TLD 알고리즘을 이용하여 영상 내 물체의 단일 프레임 경계의 중심좌표와 영상의 중심좌표의 오차를 구한다. 영상 내 물체가 영상의 가운데에 위치하고 있지 않아 x축 오차가 발생하면 드론의 Yaw축을 제어하여 드론이 물체를 바라보도록 한다. 위의 과정이 완료되면 물체가 영상의 중심에 위치시키기 위해 드론의 Pitch, Roll 축을 제어하여 y축 오차를 보정한다. 이 과정에서 드론은 물체에 접근하게 되고 영상 내 물체가 중앙에 위치하고 지상로봇과의 전방 거리가 10cm가 될 때까지 제어 과정을 반복한다. 드론의 축에 대한 제어는 PID 제어를 사용했으며 제어 주기는 15ms 이다.

Fig. 5. 
Process sequence of tracking algorithm for an object