Diamond ArUco 마커를 이용한 드론 착륙 지점 3차원 좌표 추정 방법 연구

Ⅰ. 서 론

최근 전 세계적으로 UAV 시장 성장에 따라 관련 센서 및 항법 시스템 기반 시장도 동반 성장되었다. 이러한 성장은 UAV 비행 및 미션 수행의 핵심적인 요소이다. 수년 동안 유인 및 무인 항공기의 항법은 GPS와 같은 표준 기존 항법 센서를 기반으로 한다. 드론으로 수행하는 미션의 종류가 다양해짐에 따라 목표 플랫폼에 여러 상황에서 정밀한 착륙 목적으로 UAV 관련 기술의 관심이 더욱 증대되었다. 수년간 표준으로 제시된 GPS 항법 기술은 위치 지정에서 높은 정확도를 요구하는 드론의 미션수행상황에서 신뢰성이 낮다. 정확도의 신뢰도를 높이기 위해 제시된 다른 방법은 컴퓨터 비전을 기반으로 한다[1]. UAV 착륙에서 위치 정확도를 높이는 비전기반 방법 중 하나는 단안 카메라를 주로 사용한다. 무인 항공기가 착륙 패드에 상대적인 위치를 추정하는 계산상 간단한 방법을 제공하는 기준 마커로 알려진 착륙 지점을 표시하는 것이다. UAV에 부착되는 카메라를 사용하여 많은 컴퓨터 비전 기술은 정형화되지 않은 환경에서 많은 정보들을 제공하여 장애물회피, 자율비행, 탐색, 착륙 등 자체 동작 및 구조에 대해 이용할 수 있다. 하지만 착륙을 위해서 고안된 대부분 방식은 고정된 하향 카메라를 사용하여 착륙지점을 찾으므로 돌풍과 같은 돌발적 외부상황에 따라 드론이 착륙장을 쉽게 놓칠 수 있다. 또한 드론은 새로운 미션을 수행하기 위해 먼 거리를 이동해야 하는 경우가 있기 때문에 착륙장을 찾기가 더 어렵다[2]. 본 논문에서는 드론이 착륙지점에 접근하여 하강 시 착륙 패드를 추적할 수 있도록 하고, 드론이 제자리에서 회전하여 착륙 패드를 탐색하고 더욱 정확한 3차원 좌표를 얻기 위한 새로운 기준 마커와 짐벌 장착 카메라를 사용하여 착륙하는 방법을 평가한다. 짐벌 마운트 카메라는 드론과 별개로의 3차원 좌표를 가지므로 시스템의 다음과 같은 복잡성을 증가시킨다. 첫째, 추적 시스템은 카메라를 짐벌에 올바르게 조준하기 위해 드론 시스템에 비교적 간단한 추가 구성 요소가 필요하다. 카메라 프레임에 있는 마커의 픽셀 위치와 짐벌에 대한 출력 신호를 생성하기 위한 일부 컨트롤러가 부착되어야한다. 둘째, 하향식 카메라가 있는 시스템은 착륙 중 드론을 지시하기 위해 감지된 마커의 위치만 사용할 수 있는 반면 짐벌 장착 카메라가 있는 시스템은 감지된 마커의 위치와 마커의 3차원 좌표와, 카메라/짐벌간의 좌표를 고려한 좌표계 변환이 필요하다. 드론의 인식대상이 되는 기준마커는 April Tag, WhyCode, ARTag, ArUco 등과 같은 기준 마커들이 선행연구를 통해 존재하며, 단안 이미지를 사용하여 계산적으로 간단하게 포즈(위치+방향)를 결정할 수 있는 2D 패턴이다[3]-[6]. 대부분의 기준 시스템은 정확한 위치 추정값(카메라에서 마커로의 3D 변환)을 제공하지만 방향 추정값은 2D 패턴을 3D 공간에 포함하는 한계 때문에 모호한 경우가 많다. 마커의 모호성은 인식된 포즈의 방향 구성 요소에서 부호 반전으로 나타나고 후속 계산을 통해 드론 기체 제어의 오정렬까지 연관된다[7]. 이러한 한계점들을 극복하고 드론의 정확한 기체 제어를 위해 관련연구를 확인하고, 기존 마커와 제시되는 마커의 성능비교로 더욱더 정확한 드론 착륙에 대한 연구를 진행하고자 한다.

Ⅱ. 관련 연구

2.2 기점 마커

기점 마커는 통상적으로 유효한 마커 세트와 비행 중 카메라를 통한 이미지에서 탐지를 통한 미션을 수행하는 알고리즘으로 구성된다. 그림 1와 같이 여러 기준 마커 시스템이 연구되어 제안되었다.

Fig. 1.

Examples of fiducial markers

가장 간단한 마커 식별법은 평면 점과 같은 기준 마커로 점을 사용하는 것으로 구성되며, 이는 제한된 드론 조건 속에서도 기본적인 이미지처리 기술을 사용하여 분할할 수 있다[9]. 마커의 식별은 일반적으로 마커의 상대적 위치에서 얻어지며 종종 복잡한 프로세스를 포함한다. 그러나 일반적인 기준 마커는 하나의 대응점(중앙)만 제공하므로 3차원 자세 추정에 한계가 있으므로 정확한 자세 추정을 위해 여러 개의 대응점을 감지해야한다.

여러 대응점을 제시하는 다른 유형의 기준 마커는 점의 형태 감지를 기반으로 하여 Cybercode 또는 VisualCode과 같은 형태가 있다. 위의 마커들은 MaxiCode 또는 QR과 같은 2D 바코드 기술에서 파생되지만 여러 대응점을 표현하여 보다 나은 3차원 좌표 추정을 고안하지만 보다 복잡한 점들의 분포로 해상도가 낮은 영상에서 인식시 추정에 제약을 가진다. 다른 인기 있는 기준 마커는 아메바 마커라 불리는 ReacTIVision로 얼룩 검출에 기반을 두고 있으며 유전자 알고리즘을 사용하여 디자인을 최적화했습니다. 유선형의 형태로 일부 연구에서는 빠른 카메라 움직임으로 인한 조명과 날씨의 흐림상황에서 탐지시 보다 나은 인식률을 가진다는 연구가 있었다. 그 후 보다 나은 접근 방식에 대한 대안은 정사각형 기반 기준 마커 시스템이다.

주요 장점은 4개의 두드러진 점을 사용하여 자세를 추정하고, 내부 영역은 의미를 포함한 식별에 사용된다는 것이다. 정사각형 기준 임의 패턴 마커에서 가장 많이 사용된 마커기법 중 하나는 ARToolKit으로, 지난 10년 동안 특히 학계에서 광범위하게 사용된 오픈 소스 프로젝트이다. ARToolkit 마커는 유효한 패턴의 데이터베이스에 저장된 내부 이미지가 있는 넓은 검은색 테두리로 구성된다.

하지만 ARToolkit도 몇 가지 단점이 존재한다. 첫째, 템플릿 일치 접근 방식을 사용한 기법을 사용하므로, 마커의 내부영역의 내용인식에 높은 혼동률을 가진다. 둘째, 식별 방법은 정사각형의 외부 4점 테두리로 바이너리값을 고정된 임계값에 의지하여 이미지를 인식하므로, 다양한 조명 조건에 매우 민감하다.

2.3 드론 착륙 과정

비전 기반 착륙은 알려진 목표물에 대한 시각적 착륙의 주요 개념, 특히 드론과 목표물 사이의 거리, 상대 각도 및 상대 속도를 추정하는 주요 개념을 이용한다. 상업용 드론에서 자주 구현되는 타겟을 수직 시각으로 착륙하는 것을 기본 개념을 제시한다. 비전 기반 솔루션은 기본적인 GNSS보다 훨씬 더 정확하고 역동적인 환경에서 실내 및 실외에서 작동할 수 있다는 이점이 있다. 비전 기반 착륙에서 우리는 목표를 인식하고 목표에 대한 정보를 습득하여 목표로부터의 거리를 측정할 수 있기를 원합니다. 대부분의 비전 기반 솔루션의 표적 대상은 기본적으로 레퍼런스가 학습되어 있어 드론이 대상의 알려진 속성에서 중요한 정보를 인식하고 추출할 수 있습니다. 그 예로 표적 대상의 실제 크기를 알고 있기 때문에 비율을 계산하여 실제 목표물까지의 거리를 추정할 수 있다. 또한 미리 정의된 표적지점이 아닌 미정의 된 대상을 타 목표지점으로 설정하여 드론이 착륙 가능 미션 수행 여부를 파악하고 착륙 시나리오를 수행하는 방식에 대한 연구도 진행되고 있다.

2.3.1. 표적지점 계산

카메라와 표적지점의 거리를 계산하기 위해 간단한 방법을 사용한다. 먼저 시스템을 보정하고 카메라의 초점 거리를 찾아야 한다.

$\[ \mathrm{F}=\left(\mathrm{D}÷\mathrm{W}\right)\times \mathrm{P} \]$

• F = 카메라의 초점길이
• W = 표적지점의 실제 길이
• P = 픽셀단위의 너비
• D = 카메라에서 표적까지의 실제거리

$\[ \mathrm{D}=\left(\mathrm{F}\times \mathrm{W}\right)÷\mathrm{P} \]$

해당 수식을 이용하여 드론과 표적간의 실제 거리를 찾음으로써 2차원의 정보를 계산할 수 있다. 착륙의 핵심인 3차원의 정보를 습득하기 위해서는 좌표계를 정의해야한다.

좌표계가 정의되면 그림 2과 같은 좌표계의 정의에 따라 로컬 시스템의 회전 행렬을 찾아야 한다. 이를 달성하기 위해서는 표적 좌표계를 기준으로 드론의 회전 행렬과 짐벌의 회전 행렬을 찾아야 한다.

Fig. 2.

Local coordinate landing system

Ⅲ. Diamond ArUco 기반 표적 추정

본 연구에서 제시한 마커는 그림3와 같이 다이아몬드형태로 ArUco를 배치한 마커로서, 3x3 사각형과 흰색 사각형 안에 4개의 ArUco 마커로 구성된 체스판 형태 마커이다. Chessboard ArUco(ChArUco) 보드와 모양은 비슷하지만 개념적으로는 다르다. ChArUco 보드 및 Diamond marker 모두에서 감지는 감지된 ArUco 마커를 기반으로 하며 ChArUco의 경우 식별자를 단일적으로 인식한다. 하지만 Diamond marker의 경우, 보드에 포함된 마커가 이미지에서 발견되면 자동으로 체스보드 내에 속한 것으로 간주하며 위치를 각각 식별하여 최대 4가지의 식별자로 나타난다. 하나의 식별자를 통해 추정되는 ArUco 마커 3차원 좌표 인식과 비교하여 다수의 식별자를 지니는 다이아몬드 마커 인식도는 정확성에서 차이를 보인다[10].

Fig. 3.

Concept of Diamond marker

이와 같이 위 제시된 Diamond marker 마커를 이용하여 드론 착륙지점의 좌표계 추정 오류를 최소화하는 소프트웨어를 개발하였다. 기본적 기점마커인 두 마커 모두 영상상의 마커로부터 3차원 좌표계 추정이 가능하다. 하지만 기존 ArUco같은 경우 인식자가 1개밖에 없어 추정의 값이 오차를 가지거나 움직이는 드론기반의 영상품질에 따라 영상에 방해되는 외부적 환경으로 인해 영상 프레임마다 좌표 추정이 전혀 되지 않는 현상도 발생한다. 제시된 Diamond marker는 내부에 4개의 식별자가 존재하여 값에 대한 신뢰성을 높인다. 그림 4는 Diamond marker를 통한 착륙 시나리오 알고리즘을 나타낸 것으로 드론의 임무수행 전 비행 준비 단계부터 임무수행 후 자동 착륙까지의 시나리오를 나타내었다. 실시간 프레임당 연산이 지속적으로 일어나도록 2개 식별자 이상의 인식이 수행될 때 착륙지점 마커를 기반으로 로컬 좌표계의 마커 좌표의 추정 평균을 내어 계산하였다. 평균값을 통해 얻어진 좌표는 로컬시스템의 표적 좌표계를 환산하여 드론의 좌표와 정렬시킨 후 착륙을 수행한다. 착륙을 수행하는 도중 지속적으로 좌표를 정렬시켜 착륙 중에 일어나는 드론의 뒤틀림을 보정하였다.

Fig. 4.

Algorithm of Diamond ArUco landing system

인식률의 오차에 비교를 위하여 제시된 Diamond ArUco와 단일 ArUco의 비교를 수행하였으며 비교방식은 같은 미션의 드론 비행 영상을 통해 정상, 비정상 및 오인식 좌표가 측정되는 경우를 기반으로 비교하여 오차율을 수치로 나타내었다. 비교시험으로 쓰인 드론기체는 90cm 사이즈의 소형기체이며 1920x1440 카메라를 통해 얻어진 영상을 통해 미션 도중 마커가 지속적으로 인식되는 임의의 12,000 프레임을 잘라 비교하였다. 시험환경은 비행과 영상인식에 지장이 없는 비슷한 조도와 온도를 가지는 시간대에 풍속(2m/s)조건으로 두 번의 비행을 연속적으로 수행하였으며 그림 5와 같이 마커 조건만의 비교를 위해 바닥과 색체감이 대비되는 테스트베드에서 시험을 수행하였다.

Fig. 5.

Environment of test

마커의 사이즈는 서로 같은 사이즈로 A4용지와 같은 21 cm x 29.7 cm 사이즈를 빛반사를 고려해 면에 인쇄하여 바닥에 부착시킨 후 비교를 수행하였다. 비교의 결과는 표 1은 약 12,000 프레임을 가지는 영상을 기반으로 오차를 산정하여 두 마커간 비교를 나타냈다. 정상의 수치는 기본적으로 드론의 안정적인 비행시 나타나는 좌표값을 나타내며, 비정상 좌표는 xyz축 중 하나의 좌표라도 다른 좌표와 바뀌거나 안정적인 비행인 테스트에도 불구하고 바로 전 프레임보다 축 행렬 값이 40%이상 차이가 나는 수치를 비정상으로 정의하였다. 미인식은 전혀 좌표가 나타나지 않는 프레임으로 구분하였다.

Table 1.

Comparison of error rates between markers

결과로 나타낸 값을 통해 해당 프레임 당 단일 ArUCo의 정상 확률은 59.3 % 오차율을 40.7 %로 나타낸 것을 확인할 수 있으며, Diamond ArUco의 결과는 정상 확률87.7 %, 오차율 12.3 %로 단일 ArUco의 비교 시 정상 좌표 획득률이 월등히 높음을 알 수 있다.

Ⅳ. 결론 및 향후 과제

본 논문에서 드론 비행 후 자동 착륙 시스템의 한가지 개발 요소로 카메라를 통한 마커 인식 자동착륙 시스템을 제시하였으며, 자체 개발 드론 마커 인식 프로그램으로 Diamond ArUco의 4개 식별자 간의 보강 알고리즘이 기존 단일 ArUco를 활용한 3차원 추정보다 오차율이 낮음을 알 수 있다. 더욱이 실시간으로 좌표를 추정하면 외부 환경에 따른 영상 품질이 큰 폭으로 편차가 생겨 오차율이 올라갈 수 있어, 3차원 좌표 추정 최소화가 곧 자동 착륙과 드론 항법 관련 연구에도 직결된다. 드론 기체 운항의 핵심부인 FC(Flight Controller)에 따른 기체 착륙조건들이 다르므로, 착륙 조건 및 기체사이즈에 따라 착륙도중 좌표추정의 피드백의 조건 즉 착륙 높이별 기체 안정화 조건하고, Diamond ArUco를 사용한다면 착륙도중 기체의 안정화에 더욱 기여할 것으로 보인다.

더 나아가 본 논문의 궁극적인 목표인 무인 드론 충전 스테이션에 본 마커를 적용 시 마커 내부에 식별자별 의미를 부여하여 착륙에 관한 조건과 정보를 제공함으로써 고정식 충전스테이션, 이동식 충전 스테이션 등 다양한 조건 속에서 기체 착륙의 안정화를 통해 활용성이 높을 것으로 기대된다.

Acknowledgments

본 연구는 산업통상자원부의 "이전공공기관연계육성사업"의 지원을 받아 수행된 연구결과임 (P0002073, 2018)

본 연구는 국토교통부의 "국토교통 기술사업화를 위한 이어달리기 사업" 「교량 점검용 자율⋅편대비행 드론시스템 개발」 과제의 연구비지원(RS-2022-00154686)에 의해 수행되었습니다

References

• A. Keller and B. Ben-Moshe, "A Robust and Accurate Landing Methodology for Drones on Moving Targets", Drones, Vol. 6, No. 4, pp. 98, 2022. [https://doi.org/10.3390/drones6040098]
• Seung Hyun Paik, Daeyoung Choi, Young-Kyu Kim, SangWoo Jung, and Dae-Nyeon Kim, "Implementation of the Drones with Deep-Learning CrackDetection Analysis for Inspection of Bridge",  Journal of KIIT, Vol. 19, No. 3, pp. 45-52, Mar. 2021. [https://doi.org/10.14801/jkiit.2021.19.3.45]
• E. Olson, "AprilTag: A robust and flexible visual fiducial system", In 2011 IEEE international conference on robotics and automation, Shanghai, China, pp. 3400-3407, May 2011. [https://doi.org/10.1109/ICRA.2011.5979561]
• M. Fiala, "ARTag, a fiducial marker system using digital techniques", In 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, CA, USA, Vol. 2, pp. 590-596, Jun. 2005. [https://doi.org/10.1109/CVPR.2005.74]
• J. Springer and M. Kyas, "Autonomous Precision Drone Landing with Fiducial Markers and a Gimbal-Mounted Camera for Active Tracking",  arXiv preprint arXiv:2206.04617, , Jun. 2022. [https://doi.org/10.48550/arXiv.2206.04617]
• S. Garrido-Jurado, R. Muñoz-Salinas, F. J. Madrid-Cuevas, and M. J. Marín-Jiménez, "Automatic generation and detection of highly reliable fiducial markers under occlusion", Pattern Recognition, Vol. 47, No. 6, pp. 2280-2292, Jun. 2014. [https://doi.org/10.1016/j.patcog.2014.01.005]
• Jin Zhang, et al., "Measurement of unmanned aerial vehicle attitude angles based on a single captured image", Sensors, Vol. 18, No. 8, pp. 2655, Aug. 2018. [https://doi.org/10.3390/s18082655]
• Aurello Patrik, et al., "GNSS-based navigation systems of autonomous drone for delivering items",  Journal of Big Data, Vol.  6, No. 1, pp. 1-14, Jun. 2019. [https://doi.org/10.1186/s40537-019-0214-3]
• M. Kalaitzakis, B. Cain, S. Carroll, A. Ambrosi, C. Whitehead, and N. Vitzilaios, "Fiducial markers for pose estimation",  Journal of Intelligent & Robotic Systems,  Vol. 101, No. 4, pp. 1-26, Mar. 2021. [https://doi.org/10.1007/s10846-020-01307-9]
• OpenCV: Open Source Computer Vision, https://docs.opencv.org/4.x/d5/d07/tutorial_charuco_diamond_detection.html, [accessed: Jan. 11, 2022]