Current Issue

본 연구에서 로봇의 운용을 위하여 ROS 2를 활용한다. ROS 2는 기존 ROS의 후속 버전으로 로보틱스 분야에서 널리 사용되는 open source 시스템으로 로봇의 자율주행, 모델링, 로봇 머니퓰레이터, 시뮬레이션 등 여러 분야의 로봇 개발에 사용된다. 본 연구에서 사용된 모바일 로봇은 차동 구동형 로봇으로 실내 구조에 대한 지도 생성, 위치 인식 및 장애물 감지를 위한 LiDAR 센서, 자세 추정을 위한 IMU 센서, 모터 드라이브와 이를 실행, 제어하는 SBC인 Jetson Xavier NX를 포함한다.

로봇에서 수행되는 노드들은 영상처리를 통한 사람 객체 탐지 및 QR code 인식, 로봇의 위치 추정, 로컬 플래닝, 글로벌 플래닝, 모터 드라이버 제어와 관련된 알고리즘을 수행한다. 특히 자율주행 알고리즘은 Nav2 패키지를 기반으로 하고 있으며 위치추정을 위해 AMCL 알고리즘[9]을 사용하였다.

Local Planner로는 DWA(Dynamic Window Approach)[10] 에 기반한 DWB 알고리즘 및 글로벌 플래너로 A* 알고리즘을 사용하였다. 각 패키지의 노드들은 토픽 기반의 메시지를 기반으로 publish/subscribe를 통하여 데이터전송을 수행한다.

그림 1은 PC 및 SBC에서 실행되는 노드들과 노드 간의 토픽을 통해 송수신되는 구성도를 보여준다. 경유지 노드는 보안 임무를 수행하기 위해 로봇이 이동하는 경로상에서 코너나 교차점과 같은 특징적인 지점을 지정하고 지점별 순차적인 이동을 위한 목적지를 제공하는 노드이다. Navigation2 노드는 로봇의 위치 추정, 주어진 목표지점에 도달하기 위한 글로벌 플래닝, 로컬 플래닝을 수행한다.

Fig. 1. 
Integrated robot/local system diagram

Camera 노드는 YOLOv4를 기반으로 영상에서 사용자를 인지하기 위한 노드인 Human_Detect와 사용자의 신원 확인을 위한 QR code를 확인하는 QR_CODE_Access 노드로 구성된다. 우선 Human_Detection 노드가 사람 객체를 인식하면 순차적으로 QR_CODE_Access 노드가 실행되어 사용자에게 QR code 제시를 요구하고 일정 시간 동안 대기한다. 이를 위하여 Camera 노드는 토픽을 통하여 Security_Control 노드에게 일정 시간 정지해 있을 것을 요청한다. Security_Control 노드는 Camera 노드로부터 정지 명령을 수신받을 경우 Navigation2의 속도 명령 대신 로봇을 정지시키는 속도 명령을 publish 한다. Robot_Motor 노드는 Security_Control이 publish 하는 속도 명령을 수신하여 로봇의 바퀴 속도를 제어한다. 만약 탐지된 사람 객체가 일정 시간 동안 QR code를 제시하지 않거나 등록되지 않은 QR code를 제시할 경우 로봇은 관리자에게 침입자가 발생했다는 메시지를 전송한다. 만약 등록된 QR code를 제시한다면 로봇은 경유지 노드가 기존에 출력하였던 좌표 위치로 이동함과 동시에 지속적으로 사람 객체의 유무를 판별한다.

사람 객체의 탐지는 YOLOv4-tiny를 사용하였으며, 사람 객체의 거리 측정은 참조 이미지에 대한 데이터를 활용하여 계산함으로써 이루어진다. 참조 이미지에 대한 데이터로는 이미지의 대상과 카메라의 거리, 실제 사람 객체의 너비 등을 바탕으로 카메라의 이미지 픽셀 크기를 계산해 거리를 측정한다. 일정 거리 내에서 감지되면 로봇은 정지하고 보안 인증을 요청한다. 보안 인증이 완료되면, 로봇은 5초 뒤 경유지 이동을 다시 수행한다. 객체 인식은 RGB에서 사람의 감지에 따라 지속적으로 감지되어 특정 거리는 정의를 내려 5m 거리 내에서 감지되면 로봇은 정지되고 보안 인증을 수행한다. 보안 인증이 완료되면, 로봇은 5초 뒤 경유지 이동을 다시 수행한다. 그림 2는 보안 이동 수행 및 사람 객체 포착 후 캡처된 모습이다. 사람 객체 인식과 해당 객체의 거리가 같이 표시된다.

Fig. 2. 
Screen capture of person detection

그림 3은 자율주행 로봇의 하드웨어 구성 모습이다. 로봇의 프레임 내부에 SBC인 Jetson Xavier NX가 장착되어있고 12V 배터리를 통해 전원을 공급받는다. 또한, Jetson Xavier NX는 기본 WiFi 모듈이 장착되어 있으며, 송수신 거리의 확장을 위해 안테나를 설치하였다. 실내 주변의 360도 거리 측정을 위하여 LiDAR 센서를 사용하였고, 로봇의 가속도 및 각속도를 측정하기 관성센서를 사용하였다. 모터 드라이버는 두 바퀴의 속도 제어를 수행한다. 각종 센서와 모터 드라이버는 USB to Serial 케이블을 통해 Jetson Xavier NX와 연결되어 시리얼(Serial) 통신이 이루어지게 된다.

Fig. 3. 
Autonomous robot hardware block diagram

카메라는 Depth 센서를 사용하여 3D 객체를 인식하는 것이 아닌 객체 인식 프로그램인 YOLO를 활용하는 것이므로 일반적인 RGB 카메라를 로봇의 최상부에 부착하였다.

보안 임무 수행을 위한 실제 로봇 시스템에서는 하드웨어적 한계에 따라 SBC와 노트북(Local PC)에서 개별적으로 노드들이 수행되며 이는 SSH 연결을 통해 서로 같은 환경에서 통신한다. Local PC의 연산 능력이 SBC보다 우수하여 영상처리 및 자율주행과 관련된 노드를 Local PC에서 수행하였으며, 로봇 플랫폼의 구동 및 센싱과 관련된 노드는 SBC에서 구동하였다. Host PC에서 로봇의 위치를 실시간으로 파악하기 위해 그림 4와 같이 Host PC에서 Local PC와 원격으로 접속하여 Host PC의 화면에서 로봇에게 명령어를 전달하고 보안 로봇의 임무를 수행하게 된다.

Fig. 4. 
Overview of remote access between PC

본 연구의 알고리즘 순서도는 그림 5와 같다. 최초 실행 시 보안 이동과 QR code 등록 단계를 선택할 수 있다. QR code 등록 단계가 실행되면 10초간 QR code를 읽어올 수 있고 읽은 QR code 데이터값을 저장한다. 이후 10초의 등록 단계가 종료되면 다시 처음 기능 선택으로 되돌아온다. 보안 이동을 실행한 경우에는 경유지 이동과 human detect를 동시에 수행하며 이동하는 동안 사람 객체를 탐지한다. 이동 중 사람 객체가 탐지되면 로봇은 정지 후 QR code 인증 노드를 실행한다. QR code의 인증 성공 여부에 따라 관리자에게 1:1 메시지를 전달하고 5초의 대기를 가진 뒤 다시 경유지 이동을 수행한다.

Fig. 5. 
Algorithm flowchart

본 연구의 로봇 완성본 및 로봇 시작 지점은 그림 6과 같다. 로봇의 초기 상태는 모든 노드가 실행된 상태에서 초기 위치설정을 (0, 0)으로 마친 뒤 보안 이동 대기 상태로 설정된다.

Fig. 6. 
Robot and starting point

그림 7은 보안 임무 수행을 위한 환경 지도와(좌) 경유지 좌표 경로를(우) 나타낸다. 로봇은 0지점부터 4지점까지 차례로 이동된다. 본 연구의 목적은 ROS 2 기반의 자율주행 보안 로봇이므로 이를 검증하기 위해 간단한 상황을 연출하여 시스템의 효용성을 검증하였다. 로봇은 초기 위치로부터 경유지 이동 및 human detect를 수행하고 최초 사람 객체를 감지하여 등록된 관계자 QR code 인증이 수행된다. 인증을 완료하면 다시 경유지 이동이 수행되며 돌아오는 중 미등록자를 만나 QR code 인증이 실패할 때 관리자에게 1:1 메시지가 수신되는 것을 확인하였다. 최종적으로 로봇이 마지막 지점에 도달할 때 보안 단계를 종료하는 알림을 하여 모든 노드가 종료되도록 설계하였다. 본 연구의 시나리오는 총 360초의 시간 동안 시나리오가 진행되어 위의 설계대로 임무를 수행하였다.

Fig. 7. 
Map view and path execution