손동작을 이용한 실시간 로봇 팔 제어 임베디드 시스템

Ⅰ. 서 론

일반적으로 손동작은 말을 못 하거나 듣는 데 어려움을 겪는 사람들이 사용하는 비언어적인 의사소통 수단임과 동시에, 우리가 전달하고자 하는 의미와 감정을 표현할 수 있는 소통 수단이다. 이러한 손동작은 사람을 완전히 대체하지 못하는 로봇을 효과적으로 제어하기 위한 수단으로 사람-로봇 상호작용(HRI, Human-Robot Interaction) 기술에 적용되어 로봇을 제어하는 연구가 활발하게 이루어지고 있다[1]-[7]. 이 중에서 CNN(Convolutional Neural Network) 모델을 기반으로 근전도(EMG, Electromyogram) 신호를 이용해 실시간으로 로봇 팔을 제어하는 연구[5], 다양한 UAV(Unmaned Aerial Vehicle) 제어를 위해 CNN 모델을 기반으로 손동작을 분류하는 연구[6], CNN 모델을 기반으로 이미지, 거리 데이터를 통해 실시간으로 로봇 팔을 제어하는 연구[7] 등이 있다.

실시간으로 손동작을 인식함과 동시에 로봇과 통신하여 제어하는 과정은 고성능의 개발 환경이 요구되며, 앞서 소개한 기존의 연구도 고성능의 PC(Personal Computer) 환경에서 진행된다. 하지만 최근 들어 고성능의 임베디드 보드가 계속 출시되고 있고, 이를 이용해 실시간으로 손동작 분류를 진행했을 때 높은 분류율을 보여주는 선행 연구가 이루어지고 있다[8]-[10]. 따라서 본 논문은 PC가 아닌 임베디드 보드 환경에서 이미지 데이터로 학습시킨 CNN 분류기 모델로 손동작을 분류하여 실시간으로 로봇 팔을 제어하는 시스템을 제안한다.

제안하는 시스템에서 정의한 손동작은 10가지이며, 수집한 데이터로 CNN 모델을 학습시켜 분류기를 생성한다. 웹캠으로 촬영된 손동작 이미지 데이터는 전처리 과정을 거쳐 분류기에 입력되고, 분류된 데이터를 ROS(Robot Operating System)의 메시지 통신으로 전달하여 로봇을 제어한다.

본 논문의 구성은 다음과 같다. 2장은 제안하는 시스템의 개발환경인 임베디드 보드와 로봇 및 ROS에 관한 내용을 서술하고, 3장은 제안하는 시스템에서 정의한 손동작 종류와 손동작에 따른 로봇의 제어, 이미지 데이터를 전처리하는 과정 그리고 손동작 분류를 위해 사용되는 CNN 모델에 대해 서술한다. 4장은 제안하는 시스템을 평가하기 위한 실험 내용과 결과를 서술하고, 마지막으로 5장에서 본 논문의 결론 및 향후 연구에 관하여 서술한다.

Ⅱ. 제안 시스템의 개발환경

제안하는 시스템은 임베디드 보드와 로봇 및 ROS 개발환경을 기반으로 하며 그림 1과 같이 이루어져 있다. 구성은 그림 2와 같이 웹캠으로 촬영된 640×480×3, RGB 데이터를 YCrCb 색공간으로 변환한 뒤, 피부색에 해당하는 색 범위를 지정한다. 지정된 피부색의 경계선을 따라 컨투어가 그려지고, 컨투어 좌표를 추출하여 좌표에 따른 범위의 손동작 이미지 데이터를 잘라내고 64×64×3, RGB의 이미지로 크기를 조절하는 과정을 거쳐 생성된 분류기에 입력한다.

Fig. 1.

Result of the proposed system

Fig. 2.

Configuration diagram of the proposed system

분류기는 CNN 모델 중에서 ResNet-50 모델을 사용하여 손동작을 학습시켜 분류기를 생성하였다. 분류기는 입력된 데이터에 따라 하나의 손동작 데이터를 출력하고, 출력된 데이터는 ROS의 메시지 통신을 통해 로봇으로 수신되어 UR3 로봇과 그리퍼를 제어하는 과정으로 이루어진다.

2.1 임베디드 보드

제안하는 시스템에서 사용된 임베디드 보드는 NVIDIA 사의 Jetson nano이다. 표 1과 같이 Jetson nano는 ARM A57의 CPU, 128코어 Maxell의 GPU, 4GB의 RAM의 성능을 갖춘 머신러닝 알고리즘 수행에 적합한 단일 보드 컴퓨터로 CUDA, cuDNN, OpenCV와 같은 머신러닝 시스템 구현에 필요한 모듈이 포함된 Ubuntu 18.04 LTS의 환경을 가진다.

Table 1.

Specification of Jetson nano

2.2 UR3 로봇 및 그리퍼

제안하는 시스템에서는 Universal Robots 사의 UR3 CB-Series와 Robotiq 사의 2F-140 Gripper를 사용한다. 표 2와 같이 UR3 CB-Series는 6축의 동작 자유도, 500mm의 최대 가동 범위, 3kg의 최대 페이로드를 가졌다. 그림 3과 같은 관절로 이루어져 있고, 표 3과 같이 동작 범위가 무한인 Wrist3을 제외하고 모두 ±360°의 동작 범위를 가진다.

Table 2.

Specification of UR3 CB-Series

Fig. 3.

UR3 robot joint configuration and gripper

Table 3.

Operation range and speed of UR3 robot joint

제안하는 시스템에서는 Base, Shoulder, Elbow 3축의 동작 자유도까지 제어할 수 있게 구현하였으며, Wrist3에 위치한 (x, y, z) 점을 말단좌표로 설정하고 이동시켜 UR3 로봇을 제어한다. 말단좌표에 따른 UR3 로봇의 각 관절 각도는 역기구학 해를 이용해 얻는다[11].

2.3 ROS

ROS는 로봇용 오픈소스 메타 운영체제로 기존의 운영체제에서 수행되는 로봇 제어를 위한 하드웨어 추상화, 저수준 기기 제어, 프로세스 간 메시지 전달, 로봇 패키지 관리 등과 같은 기능들을 제공해주는 프레임워크를 의미한다. 또한, 서로 다른 운영체제 및 하드웨어 간 연동이 가능하고, Python, C++, C#, Java 등 지원하는 프로그래밍 언어에 있어 독립적이어서 다양한 환경에서의 로봇 개발에 적합하다. 그리고 특정 로봇 제어에 필요한 패키지를 직접 개발하거나 받는 것이 가능하다는 접근성과 편리성도 가지고 있다. 추가적으로 3차원 시뮬레이터 도구인 Gazebo와 시각화 도구인 Rviz, rqt로 로봇의 가상 제어와 통신 연결 정보를 확인할 수 있다[12].

ROS에서 로봇의 제어는 최소 단위의 프로그램인 노드가 기능별로 세분화되어 작동된다. 각 노드는 메시지를 주고받는 형식으로 토픽, 서비스, 액션의 방식으로 통신하며, 제안하는 시스템에서는 단방향과 연속성을 가진 토픽 방식을 사용한다. 그림 4는 ROS 메시지 통신 중 토픽 방식으로 통신이 이루어지는 과정이며, ① ~ ⑤의 과정을 통해 Publisher Node와 Subscriber Node의 지속적인 통신이 가능해진다. 제안하는 시스템은 ROS Melodic Morenia 버전을 사용하며, Universal Robots 사에서 제공하는 Universal_Robots_ROS_Driver 패키지, Robotiq 사에서 제공하는 robotiq-kinetic-devel 패키지를 이용해 UR3 로봇과 그리퍼를 제어한다.

Fig. 4.

ROS message communication : Topic method

Ⅲ. 제안 시스템의 구현

3.1 손동작 종류 및 제어 설정

본 논문에서 정의한 손동작의 종류와 손동작에 따른 UR3 로봇 및 그리퍼의 제어는 그림 5와 같으며, 학습에 사용된 데이터는 손동작 종류별로 200개씩 수집하였다. 또한, 손동작에 따른 로봇의 제어는 다음과 같다. Clockwise, Counterclockwise는 UR3 로봇의 Wrist3 회전이고, OK, Left, Right, Up, Down은 (x, y, z) 좌표에 따라 상하좌우로 움직이는 UR3 로봇 제어이다.

Fig. 5.

Robotic arm and gripper control by types of hand gesture

Open, Grab은 그리퍼를 여닫는 제어이며, Empty를 통해 손동작 입력을 구분한다. 전체적인 시스템의 구현 과정은 그림 6에서 확인할 수 있다.

Fig. 6.

Implementation process flowchart of the proposed system

3.2 데이터 전처리

제안하는 시스템은 웹캠의 이미지 데이터에서 손동작에 해당하는 범위의 데이터만 분류기에 입력하기 위해 전처리한다. 전처리 과정은 웹캠의 640×480×3, RGB 이미지 데이터를 YCrCb 색공간으로 변환해주는데, YCrCb는 RGB의 인코딩 방식 중 하나로 RGB와 비슷한 색공간을 가진다. YCrCb 색상은 휘도 성분인 Y, 색차 성분인 Cr, Cb를 (Y, Cr, Cb)로 표현하는 것이 가능하며, 표 4와 같이 피부색 범위에 해당하는 Lower부터 Upper까지의 범위로 설정하여 검출하면, 손에 해당하는 부분에 경계선이 생긴다. 이 경계선을 따라 타원 모양의 매트릭스를 생성하고, 가우시안 블러링을 거쳐 노이즈를 제거한다.

Table 4.

YCrCb color range with skin color detection

이렇게 만들어진 경계선 컨투어의 시작점, 폭, 높이 좌표에 손 이외에 좀 더 넓은 범위의 데이터를 얻기 위해 컨투어의 폭과 높이에 비례하는 값을 좌표에 더한 뒤, 데이터를 잘라내고 크기를 조절하여 손에 해당하는 범위의 64×64×3, RGB 데이터를 분류기에 입력하였다.

Ⅳ. 실 험

4.1 학습 모델(분류기) 분류 정확도

제안하는 시스템에서 사용된 분류기를 평가하기 위해 학습에 사용되지 않은 데이터를 손동작 종류별 50개씩 테스트 데이터로 사용하여 분류기의 정확도를 확인하였다. 결과는 그림 7과 같이 정확도가 99.2%로 측정되었으며, 그림 8과 같이 Down과 Right 동작에서 주먹 부분의 위치와 색이 Grab과 유사하여 학습 모델이 50개 중에서 1개씩 Grab으로 분류한 것이다.

Fig. 7.

Confusion matrix of the trained model

Fig. 8.

Confusion matrix of the trained model

4.2 실시간 로봇 제어 정확도 및 지연 시간

제안하는 시스템은 임베디드 보드 환경에서 분류된 손동작 데이터를 이용해 UR3 로봇과 그리퍼를 제어하는 것이다. 이에 손동작 종류별로 50회씩 실시간으로 로봇이 알맞은 제어를 수행하는지에 대한 실험과 로봇의 각 관절에 제어 값이 입력되는 시점과 로봇이 작동되는 시점 사이의 지연을 확인하는 실험을 진행하였다.

결과는 표 5와 같이 Down, Left, Right, Grab, Empty 손동작에서 가장 높은 100%, Counterclockwise 손동작에서 가장 낮은 90%의 정확도를 보였으며, 총 500회의 실험을 통해 97%의 정확도를 보였다. 손동작별로 정확도가 다른 이유는 손동작을 변경하는 도중에 촬영된 이미지 데이터가 분류기에 입력되어 정확한 분류가 되지 않았기 때문이다.

Table 5.

Real-time control accuracy of the proposed system

웹캠에서 얻은 이미지를 전처리하는 과정에서 약 24ms, 학습 모델의 분류에서 약 9ms, 분류된 출력 데이터를 소켓 통신으로 로봇을 제어하는 ROS 패키지 부분에 전달하는 데 약 40ms의 지연이 발생하며, ROS의 메시지 통신으로 로봇에 제어 값이 입력되는 시점과 로봇이 작동되는 시점 사이의 지연은 그림 9와 같이 1.4ms로 UR3 로봇 자체의 지연이다.

Fig. 9.

Delay between when the control value is inputted into the robot and when the robot is operated

전체 시스템에서 발생하는 지연은 총 74.4ms로 임베디드 보드 환경에서도 매우 빠른 처리 속도를 가지며, 실제 로봇으로 제어 정확도를 측정하는 실험에서 영향을 끼치지 않는 것을 확인하였다.

Ⅴ. 결 론

본 논문에서는 임베디드 보드 환경에서 총 10종류의 손동작이 학습된 분류기에 웹캠의 이미지 데이터를 입력하여 손동작을 분류하고 ROS의 메시지 통신을 이용해 UR3 로봇과 그리퍼를 실시간으로 제어하는 시스템을 구현하였다. 4장 실험을 통해 임베디드 보드 환경에서 분류기 모델의 손동작 분류 정확도는 99.2%, 실시간 제어 정확도는 97%의 성능을 보이며, 로봇에 제어 값이 입력되는 시점과 로봇이 작동하는 시점 사이에 1.4ms 정도의 지연을 보인다. 따라서 제안하는 시스템은 임베디드 보드 환경에서도 높은 정확도와 빠른 처리 속도를 갖는다.

추후 시각적으로 유사한 손동작도 정확하게 분류하는 학습 모델을 생성하고 정적인 손동작 이미지가 아닌 동적인 손동작 영상을 사용해 손동작을 취하는데 제약이 없도록 개선하는 연구를 진행할 것이다.

Acknowledgments

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성(Grand ICT연구센터) 사업의 연구 결과로 수행되었음. (IITP-2021-2020-0-01612)

References

• Nuno Mendes, João Ferrer, João Vitorino, Mohammad Safeea and Pedro Neto, "Human Behavior and Hand Gesture Classification for Smart Human-robot Interaction", Procedia Manufacturing, Vol 11, pp. 91-98, 2017. [https://doi.org/10.1016/j.promfg.2017.07.156]
• Y. Yu, X. Wang, Z. Zhong, and Y. Zhang, "ROS-based UAV control using hand gesture recognition", 2017 29th Chinese Control And Decision Conference (CCDC), Chongqing, China, pp. 6795-6799, May 2017.
• A. Sylari, B. R. Ferrer, and J. L. M. Lastra, "Hand Gesture-Based On-Line Programming of Industrial Robot Manipulators", 2019 IEEE 17th International Conference on Industrial Informatics (INDIN), Helsinki, Finland, pp. 827-834, Jul. 2021. [https://doi.org/10.1109/INDIN41052.2019.8972301]
• C. Yang, C. Zeng, P. Liang, Z. Li, R. Li, and C. Su, "Interface Design of a Physical Human–Robot Interaction System for Human Impedance Adaptive Skill Transfer", in IEEE Transactions on Automation Science and Engineering, Vol. 15, No. 1, pp. 329-340, Jan. 2018. [https://doi.org/10.1109/TASE.2017.2743000]
• Se-Yun Jeon, Eun-Su Kim, and Bum-Yong Park, "CNN-based Hand Gesture Recognition Method for Teleoperation Control of Industrial Robot", IEMEK Journal of Embedded Systems and Applications, Vol. 16, No. 2, pp.  65-72, Apr. 2021.
• Yuntao Ma, Yuxuan Liu, Ruiyang Jin, Xingyang Yuan, Raza Sekha, Samuel Wilson, and Ravi Vaidyanathan, "Hand gesture recognition with convolutional neural networks for the multimodal UAV control", 2017 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED-UAS), Sweden, pp. 198-203, Oct. 2017.
• O. Mazhar, S. Ramdani, B. Navarro, R. Passama, and A. Cherubini, "Towards Real-Time Physical Human-Robot Interaction Using Skeleton Information and Hand Gestures", 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 1-6, Oct. 2018. [https://doi.org/10.1109/IROS.2018.8594385]
• Y. Jhang, Y. Chu, T. Tai, W. Hwang, P. Cheng, and C. Lee, "Sensor Based Dynamic Hand Gesture Recognition by PairNet", 2019 International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData), Atlanta, GA, USA, pp. 994-1001, Jul. 2019. [https://doi.org/10.1109/iThings/GreenCom/CPSCom/SmartData.2019.00174]
• Y. Maret, D. Oberson, and M. Gavrilova, "Real-Time Embedded System for Gesture Recognition", 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Miyazaki, Japan, pp. 30-34, Oct. 2018. [https://doi.org/10.1109/SMC.2018.00014]
• Y. Lei, W. Hongpeng, T. Dianxiong, and W. Jue, "A real-time hand gesture recognition algorithm for an embedded system", 2014 IEEE International Conference on Mechatronics and Automation, Tianjin, China, pp. 901-905, Aug. 2014. [https://doi.org/10.1109/ICMA.2014.6885817]
• M. M. U. Atique and M. A. R. Ahad, "Inverse Kinematics solution for a 3DOF robotic structure using Denavit-Hartenberg Convention", 2014 International Conference on Informatics, Electronics & Vision (ICIEV), Dhaka, Bangladesh, pp. 1-5, May 2014. [https://doi.org/10.1109/ICIEV.2014.6850854]
• M. Quigley, K. Conley, B. Gerkey, J. Faust, T. Foote, J. Leibs, R. Wheeler, and A. Ng, "ROS: an open-source Robot Operating System", ICRA Workshop on Open Source Software, Vol. 3, Jan. 2009.
• K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition", IEEE Conf. Computer Vision and Pattern Recognition, pp. 770-778, 2016.