HMD 및 6축 매니퓰레이터를 활용한 디지털 트윈 기반 지시계기 점검 시스템

Ⅰ. 서 론

다양한 산업 분야에서 작업의 효율성 및 안전을 위해 모바일 로봇 등을 활용한 원격 제어 기술 연구가 활발히 진행되고 있다[1][2]. 최근에는 ROS(Robot Operating System)를 활용한 산업용 로봇의 원격 제어[3]와 3D 포인트 클라우드를 이용한 자율 이동 매니퓰레이터 개발[4] 등 다양한 연구가 수행되고 있다. 하지만 기존의 모바일 로봇은 일반적으로 로봇에 부착된 카메라 영상을 사용하여 원격 상황을 인식하고 로봇을 제어하기 때문에 제한된 시야로 인해 로봇 운영에 어려운 문제가 있다[5][6]. 최근 VR(Virtual Reaility) 기기를 사용하여 원격에서 로봇을 제어하기 위한 연구도 진행되고 있지만 로봇에 부착된 고정형 카메라에서 획득한 영상을 기반으로 VR 기기를 통해 로봇을 제어하기 때문에 카메라 시야에서 벗어난 부분에 대한 인지가 어렵다[7][8]. 또한 VR 기기를 활용하여 3인칭 시점에서 원격 제어를 하더라도 실제 공간과의 거리감이나 물체의 상대적 크기 등을 직관적으로 파악하기 어려워 로봇의 제어에 어려움이 따른다.

이에 본 논문에서는 자율 조작 이동 로봇을 기반으로 디지털 트윈 기술과 HMD(Head-Mounted Display) 기기를 활용한 원격 지시계기 점검 로봇 시스템을 제안한다. 디지털 트윈 기술은 실제 환경과 동일하게 구현된 가상 환경을 통해 현장에서 발생하는 상황을 실시간으로 반영하고 데이터 기반의 정밀한 분석 및 시뮬레이션을 가능하게 한다[9].

본 논문에서는 가상 환경 구축을 위해 언리얼 엔진(Unreal engine)을 이용하여 실제 작업 공간과 동일한 환경을 구현하였다. 또한 컨트롤러 좌표를 매니퓰레이터의 엔드이펙터(End-effector) 좌표와 매핑 시킨 후 TCP/IP 소켓 통신으로 실제 매니퓰레이터로 전달하여 원격 제어하였다[10].

그림 1은 본 논문에서 제안하는 HMD와 6축 매니퓰레이터를 활용한 디지털 트윈 기반 지시계기 점검 시스템 시나리오이다. 작업자는 HMD 기기를 착용하고 매니퓰레이터의 엔드이펙터 시점으로 실제 환경과 동일하게 구현된 디지털 트윈 환경을 확인한다. 이후 무선 컨트롤러를 이용해 매니퓰레이터의 엔드이펙터 좌표를 TCP/IP 통신을 통해 실제 환경의 매니퓰레이터에 전달하여 동일한 위치로 이동시킨다. 이후 매니퓰레이터 엔드이펙터에 장착된 카메라를 통해 지시계기를 확인하고 딥러닝 모델을 사용하여 지시계기의 지시침을 검출 후 현재 상태를 판단한다. 지시계기의 지시침 검출 결과가 주의 또는 위험 상태로 확인되면 매니퓰레이터는 안정 상태로 복구하기 위한 각도를 계산하여 밸브를 조절 후 지시계기를 다시 확인 함으로써 설비를 안전한 상태로 제어한다.

Fig. 1.

Digital twin-based remote inspection scenario for a 6-axis manipulator using an HMD

논문의 구성은 다음과 같다. 2장에서는 딥러닝 기반 지시계기 검출 알고리즘을 설명하고 3장에서는 언리얼 엔진 기반 디지털 트윈 환경 구축 방법에 관해 설명한다. 이후 4장에서는 지시계기 판독 및 HMD 기반 매니퓰레이터 동작 제어 실험 결과를 제시하고 5장에서는 연구의 결론을 제시한다.

Ⅱ. 딥러닝 기반 지시계기 검출 알고리즘

본 논문에서는 딥러닝 기반 아날로그 지시계기 검출을 위해 그림 2와 같이 지시계기 이미지 수집 환경을 구축하였다. FHD 30FPS USB 카메라를 이용하였으며 30cm 거리에서 지시계기 이미지 281장을 수집하였다. 그리고 그림 3과 같이 지시계기 본체, 중심점, 지시침 및 0점 눈금을 라벨링 목록으로 선정하였다. 카메라로 수집한 281장의 이미지에 선정한 라벨링 작업을 진행하고 표 1의 데이터 증강 파라미터를 적용하여 데이터를 675장으로 증강하였다. 그리고 딥러닝 학습을 위해 표 2와 같이 학습데이터셋을 구성하였다. 본 논문에서는 딥러닝 모델 중 지시침의 각도 검출 오차가 가장 낮은 YOLOv8 모델을 선정하였으며[11] 데이터 증강을 통해 구축된 데이터셋을 사용하여 YOLOv8m-seg 모델에 학습을 진행하였다. YOLOv8m-seg는 YOLOv8을 백본으로 하여 세그멘테이션을 수행하는 모델이며 객체 탐지뿐만 아니라 이미지 내 객체의 경계를 분할해주는 기능을 제공한다. 딥러닝 학습 시 표 3과 같이 파라미터를 적용하여 진행하였다.

Fig. 2.

Indicator image collection environment

Fig. 3.

Indicator image labeling information

Table 1.

Data augmentation parameters

Table 2.

Gauge needle detection training data configuration

Table 3.

Parameter values applied to the model

본 논문에서는 학습된 모델을 이용하여 지시계기 본체, 중심점, 지시침, 0점 눈금을 검출하여 지시침 각도를 측정하였다. 그림 4는 지시침의 각도 계산을 위한 흐름도이다. 먼저 지시계기 본체를 검출 후 그림 5와 같이 검출된 중심점과 지시침의 끝부분을 직선으로 연결하여 지시침의 방향을 나타내는 지침선을 생성하였다. 이렇게 만들어진 지침선의 각도를 측정하기 위해 검출된 0점 눈금을 활용하였다. 0점 눈금과 지시계기 중심점을 직선으로 연결하여 기준선을 만들고 0°로 지정하였다. 지침선과 기준선 사이의 각도를 계산하여 현재 지시계기의 수치를 자동으로 판독하도록 알고리즘을 구상하였다.

Fig. 4.

Flowchart for measuring the angle of a gauge needle

Fig. 5.

Visualization of the indicator line and base line

Ⅲ. 언리얼 엔진 기반 디지털 트윈 환경 구축

그림 6은 언리얼 엔진 기반 디지털 트윈 환경을 나타내며 지시계기, 파이프, 밸브 및 6축 매니퓰레이터의 엔드이펙터를 가상 환경에 구현하였다. 본 논문에서는 원격 작업자가 HMD 기기를 착용하고 매니퓰레이터의 엔드이펙터 시점으로 무선 컨트롤러의 움직임에 따라 실환경 매니퓰레이터를 구동시키기 위해 그림 7과 같이 엔드이펙터 기준의 1인칭 시점을 언리얼 엔진으로 구현하였다.

Fig. 6.

Unreal engine-based digital twin environment

Fig. 7.

Method for implementing first-person perspective of end effector using unreal engine

HMD 기기의 무선 컨트롤러를 의미하는 motioncontroller에 작업자의 팔 움직임을 나타내기 위해 skeletalmesh를 사용하였으며 실환경의 6축 매니퓰레이터에 사용되는 그리퍼를 디지털 트윈 환경에서 사용하기 위해 staticmesh에 그리퍼의 3D모델링을 추가하였다. 따라서 작업자는 HMD를 착용 후 매니퓰레이터의 엔드이펙터 시점으로 가상환경을 관찰할 수 있으며 컨트롤러를 통해 실환경의 매니퓰레이터가 동작한다.

HMD를 착용한 작업자는 언리얼 엔진 기반 디지털 트윈 환경에 접속해서 실환경을 가상에서 모니터링 가능하며 무선 컨트롤러를 통해 실환경의 매니퓰레이터를 제어 가능하다. 이를 위해 가상환경에서의 무선 컨트롤러 3차원 좌표는 실시간으로 실환경의 매니퓰레이터로 전송된다. 블루프린트는 Unreal Engine에서 제공하는 비주얼 스크립팅 시스템이다. 프로그래밍 언어 없이도 여러 노드를 서로 연결하고 관계를 정의함으로써 프로그래밍할 수 있다.

본 논문에서는 TCP/IP 통신을 활용하여 무선 컨트롤러와 매니퓰레이터 간의 동작을 실시간으로 동기화하였다. 먼저 디지털 트윈 환경에서 작업자와 상호작용하는 Actor를 활용하였다. 컨트롤러의 좌푯값을 디지털 트윈 환경에서 얻을 수 있도록 기존 함수를 변경하였으며 Actor는 가상 환경에 배치되어 컨트롤러의 좌푯값을 추출할 수 있게 하였다.

그림 8은 Unreal Engine TCP/IP socket 통신 블루프린트 노드 연결 방식이다. Actor를 통해 얻은 VR 컨트롤러 좌푯값을 실환경의 매니퓰레이터로 전달하기 위해 소켓 통신이 사용되었다. 그러나 Unreal Engine 블루프린트에서 다수의 Event 함수를 사용하면 통신 중 딜레이 현상이 발생한다. 이를 해결하기 위해 BeginPlay Event 함수를 수정하여 가상 환경 접속과 동시에 TCP/IP 통신이 원활하게 이루어지도록 C++ 코드를 통해 기존 함수의 동작을 수정하였다.

Fig. 8.

Unreal engine TCP/IP socket communication blueprint node connection method

따라서 디지털 트윈 환경에서 매니퓰레이터 엔드이펙터 좌푯값인 VR 컨트롤러의 좌푯값은 실시간으로 실환경의 6축 매니퓰레이터에게 전송된다.

Ⅳ. 지시계기 검출 및 HMD 기반 매니퓰레이터 동작 제어 실험 결과

본 논문에서는 작업자가 디지털 트윈 환경에서 실험을 진행하고 실환경에서 매니퓰레이터가 동일한 작업을 수행하는지를 확인하였다. 이때 사용된 매니퓰레이터는 ZEUS사의 6축 매니퓰레이터 ZRA-503P이며 매니퓰레이터의 엔드이펙터에 장착된 웹캠은 PENGCA사의 PCWEB400를 사용하였다. 작업자가 사용하는 HMD는 Meta사의 Meta Oculus Quest 3이다.

작업자는 HMD의 무선 컨트롤러를 사용하여 그림 9와 같이 디지털 트윈 환경 내 지시계기를 클릭하고 해당 지시계기의 좌푯값을 실환경의 매니퓰레이터로 전송한다. 이를 통해 그림 10과 같이 매니퓰레이터가 지시계기 상태에 따라 동작을 수행하였고 매니퓰레이터의 엔드이펙터에 장착된 웹캠을 통해 지시계기의 상태를 파악하였다.

Fig. 9.

User perspective view

Fig. 10.

Real-world manipulator motion

그림 11은 지시계기 지시침의 검출 결과를 나타내며 지시침의 각도와 실제 지시침의 각도 값을 비교하여 지시침 검출 정확도를 평가하였다. 표 4는 제안하는 알고리즘을 통해 측정된 지시계기 지시침 검출 각도, 실제 각도기로 측정한 지시침 각도 값, 그리고 이 두 값의 오차 각도를 나타낸다. 실험 결과, 제안하는 알고리즘을 통해 측정된 지시침 검출 각도의 최소 오차는 1.17°, 최대 오차는 2.23°로 측정되었으며 평균 오차는 1.57°를 나타내었다.

Fig. 11.

Detection results of the indicator gauge needle

Table 4.

Difference between detected angle and actual angle

그림 12는 실험 동작 흐름도를 나타낸다. 작업자는 HMD 기기를 통해 가상환경에 접속하며 무선 컨트롤러를 사용하여 점검할 지시계기를 선택한다. 이후 실환경의 매니퓰레이터가 동작하며 엔드이펙터에 설치된 카메라를 사용하여 지시계기 지시침을 검출한다. 지시침 검출 결과에 따라 지시계기의 상태는 안전, 주의, 위험 세 가지로 구분된다. 주의 또는 위험 상태일 때 매니퓰레이터는 지시계기의 지시침을 안전 상태로 복구하기 위한 각도를 계산하고 밸브 좌푯값 수신 대기 상태로 전환된다.

Fig. 12.

Experimental operation flowchart

작업자는 HMD를 통해 지시계기 상태를 확인 후 주의 또는 위험 상태일 때 밸브를 클릭하여 매니퓰레이터에 밸브 좌푯값을 송신한다. 매니퓰레이터는 수신된 좌표로 이동해 그리퍼를 밸브 위치에 정렬한 뒤 계산된 각도만큼 밸브를 조절한다.

실험 결과 그림 9와 그림 10과 같이 작업자가 무선 컨트롤러를 통해 가상환경에서 지시계기를 클릭하고 밸브 좌푯값을 송신하면 실환경 매니퓰레이터는 해당 좌표로 이동하여 엔드이펙터에 설치된 카메라를 통해 지시계기의 상태를 확인하였다. 또한 매니퓰레이터는 밸브 위치로 이동 후 지시계기의 상태가 주의 또는 위험일 때 정확한 각도만큼 밸브를 조정하여 설비를 안정적인 상태로 복구할 수 있음을 확인하였다.

Ⅴ. 결 론

본 논문에서는 작업자가 HMD를 통해 실제 환경과 동일하게 구현된 가상 환경에 접속하고 무선 컨트롤러를 사용하여 점검이 필요한 지시계기를 선택하면 실제 현장에 있는 매니퓰레이터가 해당 지시계기를 점검하고 점검 결과에 따라 밸브 조절 작업을 수행할 수 있는 시스템을 제안하였다.

실험 결과 작업자가 HMD 기기를 통해 가상환경에 접속 후 무선 컨트롤러를 사용하여 점검할 지시계기를 선택하고 지시계기 점검 작업을 지시하였을 때 로봇이 목표 위치로 정확히 이동하였다. 또한 점검 후 지시침 검출 각도 오차 범위가 1°~2° 이내에서 이상 유무를 판단하는 것을 확인하였다.

제안된 시스템은 기존의 로봇에 고정된 카메라만을 사용하여 제어하는 방법에서 발생하는 제한된 카메라 시야각의 한계를 극복하고 같이 구현된 가상 환경에서 1인칭 시점으로 360° 작업 환경을 확인할 수 있는 기능을 제공한다. 향후 본 논문에서 제안하는 시스템은 다양한 산업현장에서 공간적 제약 없이 위험 요소를 관리하고 신속한 대응과 사고 예방을 지원하는 시스템에 활용 가능할 것으로 기대된다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원-지역지능화혁신인재양성사업의 지원(IITP-2025-RS-2020-II201791, 50%)과 2024학년도 동의대학교 교내연구비에 의해 연구되었음(202401300001, 50%)

“2024년도 한국정보기술학회 추계종합학술대회에서 발표한 논문(HMD를 이용한 6축 매니퓰레이터 원격 제어 구현)[10]을 확장한 것임”

References

• A. M. Oliveira and I. B. Q. Araujo, "A Brief Overview of Teleoperation and Its Applications", 2023 15th IEEE International Conference on Industry Applications (INDUSCON), São Bernardo do Campo, Brazil, pp. 601-602, Nov. 2023. [https://doi.org/10.1109/INDUSCON58041.2023.10374937]
• G. R. Jang, J. H. Bae, D. H. Lee, and J. H. Park, "3D Information based Visualization System for Real-Time Teleoperation of Unmanned Ground Vehicles", Journal of Korea Robotics Society, Vol. 13, No. 4, pp. 220-229, Nov. 2018. [https://doi.org/10.7746/jkros.2018.13.4.220]
• Y-S. Kwon, E-S. Kim, J-W. Shin, and B-Y. Park, "ROS based Embedded System using a Joystick for Industrial Robots Remote Control", Journal of Korean Institute of Information Technology, Vol. 19, No. 12, pp. 43-51, Dec. 2021. [https://doi.org/10.14801/jkiit.2021.19.12.43]
• S. W. Sim, B. H. Kwan, W. S. Yap, and D. W. Kiat, "Development of an Autonomous Mobile Manipulator for Pick and Place Operation Using 3D Point Cloud", 2022 IEEE 10th Conference on Systems, Process & Control (ICSPC), Malacca, Malaysia, pp. 280-285, Dec. 2022. [https://doi.org/10.1109/ICSPC55597.2022.10001817]
• Y. P. Su, X. Q. Chen, T. Zhou, C. Pretty, and G. Chase, "Mixed-Reality-Enhanced Human–Robot Interaction with an Imitation-Based Mapping Approach for Intuitive Teleoperation of a Robotic Arm-Hand System", Applied Sciences, Vol. 12, No. 94740, pp. 1-17, May 2022. [https://doi.org/10.3390/app12094740]
• D. Rakit, B. Mutlu, and M. Gleicher, "An Autonomous Dynamic Camera Method for Effective Remote Teleoperation", IEEE International Conference on Human-Robot Interaction, Chicago IL USA, pp. 325-333, Mar. 2018. [https://doi.org/10.1145/3171221.3171279]
• C. Chan, A. Pelosi, and A. Brown, "VR Controlled Remote Robotic Teleoperation for Construction Applications", In Digital Design Reconsidered - Proceedings of the 41st Conference on Education and Research in Computer Aided Architectural Design in Europe (eCAADe), Graz, Austria, pp. 369-376, Sep. 2023. [https://doi.org/10.52842/conf.ecaade.2023.1.369]
• J.-H. Jo, G. Ishangulyyev, and J.-Y. Kim, "Development and motion control of a lightweight robot arm for teleoperation using VR headset", Transactions of the Korean Society of Mechanical Engineers – A, pp. 927-935, Dec. 2023. [https://doi.org/10.3795/KSME-A.2023.47.12.927]
• M. S. Baek, E. Jung, Y. S. Park, and Y. T. Lee, "Federated Digital Twin Implementation Methodology to Build a Large-Scale Digital Twin System", 2024 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB), Toronto, ON, Canada, pp. 1-2, Jun. 2024. [https://doi.org/10.1109/BMSB62888.2024.10608284]
• A.-S. Lee, J.-H. Park, and S.-H. Ok, "Implementation of Remote Control for a 6-Axis Manipulator Using HMD", Proceedings of KIIT Autumn Conference, Jeju, Korea, Nov. 2024.
• J.-H. Shin, C.-W. Jeon, and S.-H. Ok, "Comparison of Deep Learning Model Performance for Meter Pointer Detection", Proceedings of KIIT Autumn Conference, Jeju Korea, Nov. 2024.