VR기반 회전익항공기 비행 전 점검 및 시동/정지 절차 훈련시스템 구축 방안 연구

Ⅰ. 서 론

현실과 분리된 가상환경을 만들거나, 현실 공간 안에 가상의 정보를 투영하여 사용자에게 새로운 경험을 제공하는 가상현실(VR, Virtual Reality)과 증강현실(AR, Argumented Reality) 기술은 ICT 기술의 발전과 5G 보급 등으로 게임, 교육, 군사, 의료, 관광 등 다양한 산업 분야에서 활용되고 있다. VR 교육·훈련콘텐츠는 고가의 실습 장비를 가상으로 대체할 수 있으며 사용자에게 현실감과 몰입감을 제공하고 다른 사용자와의 상호작용이 가능하며 물리적 시·공간의 제약 없이 서비스를 활용할 수 있다는 장점이 있다[1].

또한, 교육·훈련 중에 발생한 실수나 오류를 즉시 파악하고 수정할 수 있으므로 다양한 상황과 시나리오를 실험하고 반복적인 훈련이 가능하여 사용자에게 현실감 있는 환경을 제공하고 타인과의 상호작용이 가능함에 따라 협업이 필요한 교육·훈련 분야에서 폭넓게 활용되고 있다[2]-[4]. 특히, 위험성이 존재하고 환경 조성에 큰 비용이 소모되며 반복적인 훈련이 필요한 군 교육·훈련 분야에서는 VR/AR 기술을 활용한 군사 훈련체계 구축을 통해 상당한 비용 절감과 전투력 항상 효과를 기대하고 있으며, 많은 국가에서 VR/AR 기반의 군 훈련체계 구축을 진행하고 있다[5]-[7].

교육·훈련 콘텐츠 개발뿐만 아니라 VR/AR 기술을 활용한 군사 훈련체계의 필요성에 관한 연구도 진행되고 있다. VR/AR 훈련시스템의 필요성으로 교육의 효과성과 효율성으로 나타났다[8]. 교육의 효과성은 교육과 훈련을 위한 실습 및 장소 부족, 기능의 제한, 현실감 부족, 다양한 비정상 상황 대처 등에 있어서 한계 때문이며, 효율성은 교육 및 훈련 시, 안전 예방, 사용 제약 극복, 장비 파손 및 노후화 해결 그리고 대기 및 이동 시간 단축으로 인한 것이었다. 이러한 필요성에 기반하여 군사훈련 분야에서 VR/AR 기술의 적용이 활발하게 이루어지고 있다. 현재 개발되고 있는 군사훈련 콘텐츠들은 전투 상황에 맞춰 진행되는 전략·전술을 결합하여 진행되는 가상전투환경에서 전투 임무를 수행하거나 전투기 조종사 훈련 플랫폼 등이 대다수이다. 그러나 가상전투 훈련 이외에도 군 훈련 특성에 맞게 교육의 효과를 높일 수 있는 다양한 VR 훈련콘텐츠의 제작 또한 필요하다. 특히, 장기운용 회전익 항공기의 도태 예정(500MD, UH-1H, BO-105)에 따른 한국형 헬기전력화(KUH-1)와 성능개량(CH-47, UH-60)으로 인한 헬기의 사용 연한 연장으로 조종사 양성과 기종 전환에 많은 시간이 요구되고 있으나 항공기 가동율 유지, 기상 조건, 교관과 지원인력 피로도 증가와 시동/정지절차 훈련이 가능한 개인 훈련용 시뮬레이터 보급 부족 등의 제한으로 교육 시간이 부족한 상황이다[9].

본 연구에서는 실제 항공기를 이용한 비행 훈련에 앞서 VR기반 회전익항공기의 비행 전 점검 및 시동/정지 절차 훈련시스템의 구축 방안을 제안한다. 제안한 시스템은 실제 항공기 조종석 시뮬레이터와 연동되어 점검 절차에 따라 진행된다. 연구의 구성은 2장에서는 관련 연구로서 VR 기반 훈련콘텐츠의 활용 효과와 훈련콘텐츠에 대해 살펴보고, 3장에서는 회전익 항공기 비행 전 점검 및 시동/정지 절차에 대해 살펴본다. 4장에서 VR 기반 회전익 항공기 비행 전 점검 및 시동/정지 훈련시스템 개발을 위한 구축 방안을 제시하였으며, 5장에서는 결론 및 향후 연구 방향을 제시한다.

Ⅱ. 관련 연구

2.1 VR 훈련 활용 효과

다양한 산업 분야에서 VR 훈련콘텐츠가 활용되면서 활용 효과에 관한 연구 또한 진행되고 있다. 실제 장비를 활용한 교육과 VR 훈련콘텐츠를 활용하는 경우의 교육적 효과에 관한 연구가 진행되었다[1][10][11]. 표 1에서처럼 실제 장비 활용 교육은 고가 및 대형 장비에 대한 훈련 환경구축이 필요하고 장비의 분해/조립 교육에 어려움이 있으며 이상 상황 발생 등에 대한 교육의 한계를 가지고 있다. 이러한 한계를 극복하고 새로운 장비를 대체할 수있는 방안의 하나로 VR 기술을 활용하는 것이다.

Table 1.

Effect of virtual training

Ⅲ. 회전익 항공기 비행 전 점검 및 시동/정지 절차 개요

조종사와 부조종사가 진행하는 비행 전 점검(Preflight inspection)은 예정된 비행을 대비하여 사전 검사를 통해 사고 위험을 줄이기 위한 점검 절차로서 항공기가 안전 상태에 있는지를 확인하는 것이다. 항공기의 내·외부 점검 및 시동/정지 절차를 위해서 항목별 체크리스트에 대한 훈련시나리오가 제공된다. ‘시콜스키(Sikorsky Aircraft)’사의 UH-60P 오페레이션 매뉴얼에서 제공하는 비행 전 내·외부 점검 및 시동/정지 절차에 대한 구체적인 훈련시나리오는 항공기 외부점검, 엔진 시동 전 점검, 조종실 장비 점검, 엔진 시동, 엔진 시험 운전, 계류 및 엔진 정지 시나리오 등으로 구성되어 있다[15]. 항공기 외부점검은 항공기 전방에서 시작하여 항공기의 위치를 이동하며 항공기 외관 전체에 대한 위치별 체크리스트를 사용하여 점검을 진행하며, 조종석 점검은 항공기 내부의 각 구성품의 작동 및 기능에 대한 점검을 순차적으로 진행한다. 표 2는 UH-60P 블랙호크 항공기의 비행 전 점검 및 시동/정지 점검 절차 중 외부점검 대상에 대한 조작 절차 및 조작 방법 그리고 체크리스트에 대한 예시 시나리오이다.

Table 2.

Example of external inspection of UH-60P Black Hawk aircraft

Ⅳ. VR 기반 회전익 항공기 비행 전 점검 및 시동/정지 절차 훈련시스템 구축 방안

본 논문에서 제안하는 VR 훈련시스템은 기존 훈련시스템들의 구성 요소인 훈련체계 관리시스템, 교관용 관리시스템, 제어시스템뿐만 아니라 실물모형의 조종석 시뮬레이터(Mock-up UH-60)와의 동기화를 통해 가상공간에서만 진행되는 기존 시스템보다 사실감 있는 훈련 환경을 구성한다. 훈련시스템은 조종사와 부조종사의 역할에 맞추어 점검 절차의 체크리스트에 따른 훈련시나리오를 구성하며, 시나리오에 기반한 개인 맞춤형 훈련을 진행한다. 실시간으로 훈련자의 동작을 분석하고, 훈련자의 행동과 반응을 모니터링하여 개별적인 피드백을 제공한다. 훈련이 종료되면 성과 평가를 통해 개인의 역량을 파악할 수 있도록 구성한다. 또한, 군사훈련은 대부분 팀워크와 협업이 필요하다. 따라서, 다중 사용자 환경을 구성하여 여러 훈련자가 가상환경에서 협력하고 의사소통하며 훈련할 수 있도록 제작한다. VR 기반의 훈련시스템의 특성상 훈련자 편의성을 고려하여 사이버 멀미 해소 및 직관적인 UX/UI 디자인을 적용한다.

사이버 질환은 개인차, 사용된 기술, 공간디자인, 수행된 업무 등 매우 다양한 요인들이 관여하고 있어 명확한 원인을 규정할 수 없으나 원인과 증상을 측정하고 사이버 멀미를 줄이기 위한 새로운 접근 방식들에 관한 연구가 진행되고 있다[16][17].

그러나 그동안 진행된 VR 내비게이션 연구에 의하면 몸 움직임을 포함하는 공간이동 방법들이 자가 운동을 높여 사이버 멀미 저감에 효과가 있다고 한다. 이러한 이론적 근거를 기반으로 가상공간 구성 및 가상공간 내의 이동 방법, 시뮬레이터와의 연동을 고려하여 VR 훈련콘텐츠를 제작한다.

4.1 회전익 항공기 훈련시스템 구성

본 논문에서 제안하는 훈련시스템은 그림 1과 같이 항공기 조종석 시뮬레이터와 조종사와 부조종사용 VR 기반 훈련시스템, 교관용 관리시스템으로 구성된다.

Fig. 1.

System configuration

항공기 조종석의 실물모형 시뮬레이터는 그림 2와 같이 내부에는 진동 장치가 포함된 조종석과 부조종석이 배치되고 실제 제어가 가능한 컨트롤 레버(Control lever), 사이클릭&콜렉티브 장치(Cyclic&Collective device), 페달(Pedal)과 음향 효과를 위한 스피커 그리고 냉난방 공조기 등이 설치된다. 교관용 관리시스템에는 훈련시나리오 및 훈련정보, 훈련생 정보, 훈련 이력 등 교육에 필요한 데이터 및 교육 후 생성되는 데이터를 관리하는 자료관리 시스템과 훈련시스템 제어 및 관리를 위한 통합 운영시스템이 포함된다.

Fig. 2.

Cockpit simulator diagram

4.2 VR 기반 훈련시스템

VR 기반 훈련시스템은 훈련생의 몰입감을 높이기 위해 실제와 동일한 환경으로 UH-60P 항공기 동체와 내부공간을 3D 가상환경으로 구축하고 항공기 내·외부의 주요 부품 및 구성품에 대한 3D 모델을 구축하여 가시화한다. 3D 가상환경은 실제 항공기와 같은 크기의 모형과 VR 콘텐츠와 연계를 위해 현실 객체 정보를 기반으로 가상 객체의 가상공간 내 정합과 현실 객체 위치와 움직임 정보획득 및 처리, 위치 정보 및 비마커 공간 인식정보 정합 및 보정이 진행되어야 한다. 각 훈련자의 훈련시나리오에 따른 계기작동 및 점검 훈련에 대한 동작 인식과 상호작용이 필요하다. 각 시스템은 네트워크로 연결되어 조종사와 부조종사의 상호 협력, 훈련자들과 교관의 실시간 소통 그리고 시스템 제어가 가능하도록 구현한다. VR 글로브를 통해 손동작을 인식하여 콘텐츠 내의 사용자 인터페이스(User interface)를 제어한다. 가상공간 내에서 제어해야 하는 콘텐츠의 특성상 각 기능을 손쉽게 제어할 수 있는 동작 방법과 가독성이 높은 UI를 통해 콘텐츠를 조작할 수 있도록 구성한다.

교관용 관리시스템에서 지정한 시나리오 따라 조종사와 부조종사는 각각 VR 헤드셋(HMD)과 VR 글로브를 착용하고 1인칭 시점으로 훈련을 진행한다.

본 연구에서는 UH-60P 기준의 비행 전 내외부 점검 및 시동/정지 절차 훈련시나리오를 기반으로 3D 모델링 된 회전익항공기 내 훈련 환경설정, 각 훈련병 참여자 역할 및 임무 설정, 참여자별 역할에 따른 관련 임무 설정, 항공기 외부점검, 조종실 장비 점검, 엔진 시동 전 점검, 엔진 시동, 엔진 시험 운전, 계류 및 엔진 정지 시나리오로 구성된다. 훈련시나리오별 체크리스트에 기반하여 훈련생에게 순차적인 교육이 진행되도록 훈련에 필요한 요소를 식별하여 배치하고 훈련시나리오를 바탕으로 가상공간 내의 화면 설계 및 스토리보드를 개발하여 점검 절차에 따라 교육이 진행될 수 있도록 VR 훈련시스템을 제작한다.

Fig. 3.

UH-60P VR training content initial screen

외부점검은 항공기 시뮬레이터 외부에서 가상공간 내의 항공기 가상 모형을 기반으로 진행된다. 내부점검은 시뮬레이터 내부의 조종석에 착석하여 진행하며, 내부에 설치되는 컨트롤 장치들과 연동을 통해 실제 장비와 유사한 조작감을 제공한다. 훈련생은 가상공간 내에서 각 스위치의 점검을 진행하며, 가상공간 내의 컨트롤 레버, 사이클릭&콜렉티브 장치, 페달의 조작은 실물 장치와 동기화되어 작동된다. 해당 장치들은 훈련의 효과를 위해 훈련생들의 실제 조작을 통해 항공기의 진동 및 소음을 체험하면서 진행되도록 구성한다. 시스템의 최대 협업 인원은 2명이며 시뮬레이터의 최대 운용온도는 –10℃~40℃, 가상공간 구현 화질은 FHD 1920×1080 이상, 초당 프레임 수는 90fps이상, 모션 투 포토지연(MTPL) 20ms 미만, 시동 및 소음 재현 오차는 10%이내의 성능으로 개발한다.

훈련생의 실제 위치와 가상공간 내의 구현 대상의 위치를 인식함으로써 훈련생이 훈련 환경에서 필요한 정보의 시각화가 진행된다. 각 점검 절차 중 훈련생이 필수로 익혀야 하는 지식 정보와 순서에 따라 정보를 시각화하고, 다중 접속 상황을 고려한 화면 구성과 제어를 할 수 있도록 개발한다. 그림 4와 5는 UH-60P 외부점검과 내부점검 가상훈련 환경에 대한 화면 구성 및 항목별 제어를 위한 화면 예시이다.

Fig. 4.

UH-60P external inspection screen

Fig. 5.

UH-60P internal inspection screen

4.3 교관용 관리시스템

교관용 관리시스템은 훈련콘텐츠의 전체적인 제어를 위해 교관을 위한 별도의 터치 모니터와 키오스크 시스템을 제공하여 실시간 훈련 현황 및 점검 내용을 확인하고 제어할 수 있다. 그림 6은 교관용 관리시스템 구성도로서 시스템 내부에는 통합 운영시스템, 강평 시스템, 자료관리 시스템이 포함된다.

Fig. 6.

Management system configuration for instructors

4.3.1 통합 운영시스템

통합 운영시스템은 연결된 디바이스 통제와 자료관리 시스템에 저장되어있는 훈련시나리오 선택, 훈련 프로그램 설정, 실시간 훈련통제 및 관리, 시스템 제어, 점검 절차 확인, 화면제어 기능 등이 제공된다. 통합 운영시스템을 통해 교관은 훈련 진행 시 클라이언트 접속정보 확인, 시나리오 선택, 시작, 일시 정지, 중지, 녹화, 훈련상황 실시간 2D 시현, 객체 자동출현/수동출현 선택기능 등 세부적인 훈련통제 및 시현을 할 수 있다. 훈련 종료 후에는 녹화된 훈련시나리오 재생 및 훈련생별 훈련 결과 로그데이터를 확인할 수 있는 강평 시스템을 제공한다.

4.3.2 강평 시스템

VR 훈련시스템은 사용자의 경험과 훈련 효과를 분석하고 평가할 수 있는 체계를 구축하여 훈련자의 행동 및 반응을 실시간으로 기록하고 분석하여 개별적인 피드백과 훈련 성과를 평가할 수 있어야 한다. 교관이 사용하는 강평 시스템은 실시간 데이터 송수신이 가능하며, 크게 실시간 모니터링, 보고서 관리, 강평 재연기능으로 구성한다. 실시간 모니터링 모듈은 비행 전 점검 및 시동/정지 절차 점검 항목별 시나리오 생성을 위한 점검 항목 추천, 훈련 진행 상황 관리, 실시간 모니터링 및 화면 녹화 기능을 포함한다.

보고서 관리 모듈은 훈련생별 훈련 평가 및 분석, 훈련 결과 조회, 보고서 관리 등의 기능을 제공한다. 훈련 평가 및 분석은 훈련시나리오별, 점검 항목별로 각 훈련생의 점검 시행 결과를 자동 평가하고 분석하여 훈련 결과 데이터를 시각화된 보고서 형식으로 제공한다. 강평 재연기능은 교육 종료 후 훈련생별로 녹화된 훈련 과정을 재연하여 확인할 수 있다.

4.3.3 자료관리 시스템

자료관리 시스템은 크게 기초자료 관리와 훈련시나리오 관리로 구분된다. 기초자원 관리는 대상 장비 재원 관리, 교관 정보 관리, 교육생 정보 관리, 훈련 이력 관리, 훈련 결과 보고서 등 훈련용 자료 및 교관이 사용하는 자료, 훈련을 통해 생성되는 자료들에 대해 관리한다. 훈련시나리오 관리는 점검 항목별 훈련시나리오 생성, 편집 및 관리, 교육환경 생성 등의 기능이 포함한다.

Ⅴ. 결론 및 향후 과제

본 논문에서는 실물의 항공기를 대상으로 실시하는 비행 전 점검 및 시동/정지 절차 훈련 중에 발생하는 훈련 준비 시간 과다소요, 기상 조건 영향, 실제 장비 오작동 간 장비 고장 등의 문제점을 해소할 수 있는 비행 전 점검 및 시동/정지 절차 VR 훈련시스템의 구축 방안을 제안하였다. 제안된 시스템은 실제 교육 환경과 유사한 훈련시스템을 구축하기 위해 실제 항공기 조종석 실물모형 시뮬레이터를 제작하고 시뮬레이터와 고품질의 3D 가상공간으로 구성되는 VR 훈련콘텐츠와의 연계를 통해 훈련 효과를 높이고, 다양한 항공기에 대한 VR 훈련콘텐츠를 제작하여 훈련이 가능할 것으로 기대한다.

향후 본 연구에서 제시된 방안을 기반으로 교관 1인이 실시간으로 다수의 조종사를 대상으로 회전익 항공기의 비행 전 점검이 가능하며, 시동/정지 절차에 대한 숙달 훈련이 가능하고 훈련 후 사후 검토를 통해 실수를 교정할 수 있는 체계로 평시 비행 제한 지역이나, 악기상 환경 등에 의한 항공기 가동률에 제한 없이 전천후 비행 훈련이 가능한 시스템을 구축할 계획이다.

4차 산업혁명의 핵심기술인 VR 기반의 회전익항공기 비행 전 점검 및 시동/정지 절차 훈련시스템은 조종사 양성 및 기종 전환 체계를 개선할 수 있을 뿐만 아니라, 고정익 항공기 등 타 무기체계로의 확장이 가능할 것으로 기대한다.

Acknowledgments

본 연구는 민군기술이전사업 연구과제로 수행되었습니다(22-SN-AU-02)

References

• D. Y. An and H. K. Park, "Case Study on the Development and Use of Technical Training Contents using Virtual Reality", Journal of Practical Engineering Education, Vol. 5, No. 2, pp. 117-122, Jun. 2013. [https://doi.org/10.14702/JPEE.2013.117]
• S. Y. Han, "Domestic Application of XR in the Untact Era", Monthly Software Oriented Society, No. 75, Sep. 2020. https://spri.kr/posts/view/23060?code=industry_trend, [accessed: Jul. 20, 2023]
• E.-J. Song, "A Study on Training System for Fire Prevention based on Virtual Reality", Korea Digital Contents Society, Vol. 17, No. 3, pp. 189-195, Jun. 2016. [https://doi.org/10.9728/dcs.2016.17.3.189]
• J. E. Kim and T. Woo, "VR Content Development for Racing Drone Control Training", Journal of KGS, Vol. 18, No. 3, pp. 113-122, Jun. 2018. [https://doi.org/10.7583/JKGS.2018.18.3.113]
• J. H. Ro and C. W. Hong, "Technology Trends of Virtual Augmented Reality and Application to Military Education and Training", Journal of KIIT, Vol. 20, No. 8, pp. 151-164, Aug. 2022. [https://doi.org/10.14801/jkiit.2022.20.8.151]
• SanupinNews, "KAI’s future aviation training system unveiled for the first time", Oct. 2022. https://www.sanupin-news.kr/news/articleView.html?idxno=4065, [accessed: Jul. 20, 2023]
• DefenseNews, "US Army makes headway on Synthetic Training Environment", Sep. 2021. https://www.defensenews.com/training-sim/2021/09/30/us-army-makes-headway-on-synthetic-training-environment/, [accessed: Feb. 15, 2023]
• M. H. Park, S. S. Lee, K. S. Jeon, and H. J. Seol, "A Study on the Development Direction of Education and Training System based on AR/VR Technology", Journal of the KIMST, Vol. 22, No. 4, pp. 545-554, Aug. 2019. [https://doi.org/10.9766/KIMST.2019.22.4.545]
• J. Y Park, J. H Lee, S. M Lee, Y. H Lee, and H. J Jung, "Suggested Application of the Army Aviation 2nd Stair Maintenance Support System", The Korean Society for Aeronautical & Space Sciences, KSAS 2020 Spring Conference, Jeju, Korea, pp. 784-785, Nov. 2020.
• S. H Bak, G. Y. Yun, T. J. Choi, H. B. You, and J. H. Bae, "Design of Immersive Experience Training System with Virtual Reality Technology (VR)", JDCS, Vol. 19, No. 12, pp. 2289-2295, Dec. 2018. [https://doi.org/10.9728/dcs.2018.19.12.2289]
• D. J. Harris, T. Arthur, J. Kearse, M. Olonilua, E. K. Hassan, T. C. De Burgh, M. R. Wilson, and S. J. Vine, "Exploring the Role of Virtual Reality in Military Decision Training", Frontiers in Virtual Reality, Vol. 4, Mar. 2023. [https://doi.org/10.3389/frvir.2023.1165030]
• H. J. Seol and K. S. Jeon, "Case Study of Military education and Training using AR(Augmented Reality)/VR(Virtual Reality)", KOCOSA, Vol. 22, No. 5, pp. 107-113, Dec. 2022. [https://doi.org/10.33778/kcsa.2022.22.5.107]
• Weekly Chosun, "Sit in front of your PC, drive a tank, and infiltrate enemy territory... Now train in VR!", Jul. 2020. http://weekly.chosun.com/news/articleView.html?idxno=15904, [accessed: Mar. 11, 2023]
• S. H. Bak and J. H. Bae, "A Study on the Preventive Maintenance Daily (PMD) Training Method of XR-based Rotary Wing Aircraft", JDCS, Vol. 22, No. 7, pp. 1025-1030, Jul. 2021. [https://doi.org/10.9728/dcs.2021.22.7.1025]
• Technical Manual, "Operator’s Manual for Sikorsky UH-60P Helicopter", 2009.
• A. R. Kim, "Spatial Movement in Virtual Reality and Trends in Motion Simulators", IITP TechForum, Jun. 2021.
• E. H. Chang, H. T. Kim, and B. H Yoo, "Virtual Reality Sickness: A Review of Causes and Measurements", International Journal of Human-Computer Interaction, Vol 36, No. 17, pp. 1658-1682, Jul. 2020. [https://doi.org/10.1080/10447318.2020.1778351]