Home

최근 전 세계적으로 UAV 시장 성장에 따라 관련 센서 및 항법 시스템 기반 시장도 동반 성장되었다. 이러한 성장은 UAV 비행 및 미션 수행의 핵심적인 요소이다. 수년 동안 유인 및 무인 항공기의 항법은 GPS와 같은 표준 기존 항법 센서를 기반으로 한다. 드론으로 수행하는 미션의 종류가 다양해짐에 따라 목표 플랫폼에 여러 상황에서 정밀한 착륙 목적으로 UAV 관련 기술의 관심이 더욱 증대되었다. 수년간 표준으로 제시된 GPS 항법 기술은 위치 지정에서 높은 정확도를 요구하는 드론의 미션수행상황에서 신뢰성이 낮다. 정확도의 신뢰도를 높이기 위해 제시된 다른 방법은 컴퓨터 비전을 기반으로 한다[1]. UAV 착륙에서 위치 정확도를 높이는 비전기반 방법 중 하나는 단안 카메라를 주로 사용한다. 무인 항공기가 착륙 패드에 상대적인 위치를 추정하는 계산상 간단한 방법을 제공하는 기준 마커로 알려진 착륙 지점을 표시하는 것이다. UAV에 부착되는 카메라를 사용하여 많은 컴퓨터 비전 기술은 정형화되지 않은 환경에서 많은 정보들을 제공하여 장애물회피, 자율비행, 탐색, 착륙 등 자체 동작 및 구조에 대해 이용할 수 있다. 하지만 착륙을 위해서 고안된 대부분 방식은 고정된 하향 카메라를 사용하여 착륙지점을 찾으므로 돌풍과 같은 돌발적 외부상황에 따라 드론이 착륙장을 쉽게 놓칠 수 있다. 또한 드론은 새로운 미션을 수행하기 위해 먼 거리를 이동해야 하는 경우가 있기 때문에 착륙장을 찾기가 더 어렵다[2]. 본 논문에서는 드론이 착륙지점에 접근하여 하강 시 착륙 패드를 추적할 수 있도록 하고, 드론이 제자리에서 회전하여 착륙 패드를 탐색하고 더욱 정확한 3차원 좌표를 얻기 위한 새로운 기준 마커와 짐벌 장착 카메라를 사용하여 착륙하는 방법을 평가한다. 짐벌 마운트 카메라는 드론과 별개로의 3차원 좌표를 가지므로 시스템의 다음과 같은 복잡성을 증가시킨다. 첫째, 추적 시스템은 카메라를 짐벌에 올바르게 조준하기 위해 드론 시스템에 비교적 간단한 추가 구성 요소가 필요하다. 카메라 프레임에 있는 마커의 픽셀 위치와 짐벌에 대한 출력 신호를 생성하기 위한 일부 컨트롤러가 부착되어야한다. 둘째, 하향식 카메라가 있는 시스템은 착륙 중 드론을 지시하기 위해 감지된 마커의 위치만 사용할 수 있는 반면 짐벌 장착 카메라가 있는 시스템은 감지된 마커의 위치와 마커의 3차원 좌표와, 카메라/짐벌간의 좌표를 고려한 좌표계 변환이 필요하다. 드론의 인식대상이 되는 기준마커는 April Tag, WhyCode, ARTag, ArUco 등과 같은 기준 마커들이 선행연구를 통해 존재하며, 단안 이미지를 사용하여 계산적으로 간단하게 포즈(위치+방향)를 결정할 수 있는 2D 패턴이다[3]-[6]. 대부분의 기준 시스템은 정확한 위치 추정값(카메라에서 마커로의 3D 변환)을 제공하지만 방향 추정값은 2D 패턴을 3D 공간에 포함하는 한계 때문에 모호한 경우가 많다. 마커의 모호성은 인식된 포즈의 방향 구성 요소에서 부호 반전으로 나타나고 후속 계산을 통해 드론 기체 제어의 오정렬까지 연관된다[7]. 이러한 한계점들을 극복하고 드론의 정확한 기체 제어를 위해 관련연구를 확인하고, 기존 마커와 제시되는 마커의 성능비교로 더욱더 정확한 드론 착륙에 대한 연구를 진행하고자 한다.

본 연구에서 제시한 마커는 그림3와 같이 다이아몬드형태로 ArUco를 배치한 마커로서, 3x3 사각형과 흰색 사각형 안에 4개의 ArUco 마커로 구성된 체스판 형태 마커이다. Chessboard ArUco(ChArUco) 보드와 모양은 비슷하지만 개념적으로는 다르다. ChArUco 보드 및 Diamond marker 모두에서 감지는 감지된 ArUco 마커를 기반으로 하며 ChArUco의 경우 식별자를 단일적으로 인식한다. 하지만 Diamond marker의 경우, 보드에 포함된 마커가 이미지에서 발견되면 자동으로 체스보드 내에 속한 것으로 간주하며 위치를 각각 식별하여 최대 4가지의 식별자로 나타난다. 하나의 식별자를 통해 추정되는 ArUco 마커 3차원 좌표 인식과 비교하여 다수의 식별자를 지니는 다이아몬드 마커 인식도는 정확성에서 차이를 보인다[10].

Fig. 3. 
Concept of Diamond marker

이와 같이 위 제시된 Diamond marker 마커를 이용하여 드론 착륙지점의 좌표계 추정 오류를 최소화하는 소프트웨어를 개발하였다. 기본적 기점마커인 두 마커 모두 영상상의 마커로부터 3차원 좌표계 추정이 가능하다. 하지만 기존 ArUco같은 경우 인식자가 1개밖에 없어 추정의 값이 오차를 가지거나 움직이는 드론기반의 영상품질에 따라 영상에 방해되는 외부적 환경으로 인해 영상 프레임마다 좌표 추정이 전혀 되지 않는 현상도 발생한다. 제시된 Diamond marker는 내부에 4개의 식별자가 존재하여 값에 대한 신뢰성을 높인다. 그림 4는 Diamond marker를 통한 착륙 시나리오 알고리즘을 나타낸 것으로 드론의 임무수행 전 비행 준비 단계부터 임무수행 후 자동 착륙까지의 시나리오를 나타내었다. 실시간 프레임당 연산이 지속적으로 일어나도록 2개 식별자 이상의 인식이 수행될 때 착륙지점 마커를 기반으로 로컬 좌표계의 마커 좌표의 추정 평균을 내어 계산하였다. 평균값을 통해 얻어진 좌표는 로컬시스템의 표적 좌표계를 환산하여 드론의 좌표와 정렬시킨 후 착륙을 수행한다. 착륙을 수행하는 도중 지속적으로 좌표를 정렬시켜 착륙 중에 일어나는 드론의 뒤틀림을 보정하였다.

Fig. 4. 
Algorithm of Diamond ArUco landing system

인식률의 오차에 비교를 위하여 제시된 Diamond ArUco와 단일 ArUco의 비교를 수행하였으며 비교방식은 같은 미션의 드론 비행 영상을 통해 정상, 비정상 및 오인식 좌표가 측정되는 경우를 기반으로 비교하여 오차율을 수치로 나타내었다. 비교시험으로 쓰인 드론기체는 90cm 사이즈의 소형기체이며 1920x1440 카메라를 통해 얻어진 영상을 통해 미션 도중 마커가 지속적으로 인식되는 임의의 12,000 프레임을 잘라 비교하였다. 시험환경은 비행과 영상인식에 지장이 없는 비슷한 조도와 온도를 가지는 시간대에 풍속(2m/s)조건으로 두 번의 비행을 연속적으로 수행하였으며 그림 5와 같이 마커 조건만의 비교를 위해 바닥과 색체감이 대비되는 테스트베드에서 시험을 수행하였다.

Fig. 5. 
Environment of test

마커의 사이즈는 서로 같은 사이즈로 A4용지와 같은 21 cm x 29.7 cm 사이즈를 빛반사를 고려해 면에 인쇄하여 바닥에 부착시킨 후 비교를 수행하였다. 비교의 결과는 표 1은 약 12,000 프레임을 가지는 영상을 기반으로 오차를 산정하여 두 마커간 비교를 나타냈다. 정상의 수치는 기본적으로 드론의 안정적인 비행시 나타나는 좌표값을 나타내며, 비정상 좌표는 xyz축 중 하나의 좌표라도 다른 좌표와 바뀌거나 안정적인 비행인 테스트에도 불구하고 바로 전 프레임보다 축 행렬 값이 40%이상 차이가 나는 수치를 비정상으로 정의하였다. 미인식은 전혀 좌표가 나타나지 않는 프레임으로 구분하였다.

결과로 나타낸 값을 통해 해당 프레임 당 단일 ArUCo의 정상 확률은 59.3 % 오차율을 40.7 %로 나타낸 것을 확인할 수 있으며, Diamond ArUco의 결과는 정상 확률87.7 %, 오차율 12.3 %로 단일 ArUco의 비교 시 정상 좌표 획득률이 월등히 높음을 알 수 있다.

본 논문에서 드론 비행 후 자동 착륙 시스템의 한가지 개발 요소로 카메라를 통한 마커 인식 자동착륙 시스템을 제시하였으며, 자체 개발 드론 마커 인식 프로그램으로 Diamond ArUco의 4개 식별자 간의 보강 알고리즘이 기존 단일 ArUco를 활용한 3차원 추정보다 오차율이 낮음을 알 수 있다. 더욱이 실시간으로 좌표를 추정하면 외부 환경에 따른 영상 품질이 큰 폭으로 편차가 생겨 오차율이 올라갈 수 있어, 3차원 좌표 추정 최소화가 곧 자동 착륙과 드론 항법 관련 연구에도 직결된다. 드론 기체 운항의 핵심부인 FC(Flight Controller)에 따른 기체 착륙조건들이 다르므로, 착륙 조건 및 기체사이즈에 따라 착륙도중 좌표추정의 피드백의 조건 즉 착륙 높이별 기체 안정화 조건하고, Diamond ArUco를 사용한다면 착륙도중 기체의 안정화에 더욱 기여할 것으로 보인다.

더 나아가 본 논문의 궁극적인 목표인 무인 드론 충전 스테이션에 본 마커를 적용 시 마커 내부에 식별자별 의미를 부여하여 착륙에 관한 조건과 정보를 제공함으로써 고정식 충전스테이션, 이동식 충전 스테이션 등 다양한 조건 속에서 기체 착륙의 안정화를 통해 활용성이 높을 것으로 기대된다.