시각장애인을 위한 XR 글래스 기반 보행 장애물 감지 및 실시간 원격 도우미 통합 보행 지원 시스템

2.1 시각장애인 보행 방식

시각장애인의 보행 방법은 다양하며, 전문적인 보행 훈련을 통해 안전하고 효율적인 이동이 가능하다. 시각장애인의 보행 방식은 그림 1과 같이 안내보행, 흰지팡이 보행, 안내견 보행, 전자기기 기반 보행으로 구분된다[9].

Fig. 1.

Mobility methods for visually impaired individuals

그림 1(a)에서 안내보행은 보호자나 주변인의 도움을 받는 방식으로 안정성이 높지만, 타인 의존성이 높아 독립성 확보에 한계가 있다. 또한 인건비 등 운영 비용이 높아 지속적인 지원에 제약이 존재한다. 그림 1(b)에서 흰지팡이 보행은 시각장애인이 가장 널리 사용하는 독립 보행 방식으로, 일정 기간의 보행 훈련을 통해 환경 탐지와 방향 감각을 향상시킬 수 있다[10]. 그러나 탐지 범위가 주로 지면 중심으로 제한되며, 머리 높이의 장애물이나 일정 거리 이상의 객체를 인지하기 어렵다는 한계가 있다[11]. 그림 1(c)에서 안내견 보행은 훈련된 안내견이 시각장애인의 이동을 보조하는 방식으로 높은 이동 안정성과 심리적 안정감을 제공한다. 하지만 장기간의 훈련과 높은 양성 비용으로 인해 공급 가능한 안내견 수가 제한적이라는 현실적 제약이 따른다[12]. 그림 1(d)에서 전자기기 기반 보행은 다양한 센서를 활용하여 장애물을 탐지하고 정보를 사용자에게 전달하는 방식으로, 지팡이, 안경, 목걸이 등 다양한 웨어러블 형태의 보행 보조장치로 개발되고 있다.

2.2 시각장애인 지원 보조 기술 동향

센서 및 인공지능 기술의 발전에 따라 전자기기 기반 보행 보조 기술이 빠르게 확장되고 있으며, 기존 연구는 객체 인식, 감각 피드백, 원격 영상 지원 등 기능 단위로 진행되어 왔다.

기존 연구를 살펴보면, 음성 및 촉각 피드백을 결합하여 보행 중 장애물 회피 성능을 향상시키고자 한 연구가 있으며, 이는 멀티모달 피드백을 통해 사용자 반응 속도를 개선하는 데 기여하였다[3][4]. 그러나 이러한 연구는 가상 환경 기반 실험이 중심이거나, 장애물의 존재 여부 전달에 초점을 맞추어 실제 환경에서의 종합적인 상황 인지까지는 확장되지 못한 한계가 있다.

또한 초음파, ToF(Time-of-Flight) 센서 등을 활용한 촉각 중심의 웨어러블 장치 연구에서는 장애물까지의 거리 정보를 진동으로 전달하는 방식이 제안되었으나[5], 객체의 종류나 맥락 정보는 제공되지 않아 정보 해석의 직관성이 제한될 수 있다.

이러한 인식 기반 시스템의 한계를 보완하기 위한 접근으로, 원격 지원 기반 연구 역시 제안되고 있다. 증강현실 또는 영상 스트리밍을 활용하여 시각장애인이 원격 도우미와 연결되고, 실시간 음성 안내를 받을 수 있는 서비스 구조가 제안되었다[6]. 그러나 이러한 접근은 자동화된 환경 인식 기능과의 통합이 이루어지지 않았으며, 보행 중 지속적인 지원 체계로 활용하기에는 한계가 존재한다. 이와 같은 한계를 고려할 때, 자동 환경 인식과 원격 도우미 지원을 통합한 보행 지원 시스템 연구는 여전히 제한적이며, 본 연구는 이러한 통합적 접근에서 차별성을 가진다.

2.3 XR 글래스 기술 및 응용

XR은 가상현실, 증강현실, 혼합현실을 포괄하는 몰입형 기술로, 현실 환경과 가상 정보를 결합하여 확장된 상호작용 환경을 제공한다[13]. 이러한 XR 기술은 디스플레이 장치, 공간 인식 센서, 컴퓨터 비전, 음성 인터페이스 등 다양한 요소의 융합을 통해 발전해왔으며, 산업, 교육, 의료 등 여러 분야에서 활용된다.

특히 XR 글래스는 사용자 시점의 영상을 실시간으로 획득할 수 있는 안경형 웨어러블 장치로, 컴퓨터 비전 및 온디바이스 AI 기술과 결합하여 객체 인식과 환경 분석을 실시간으로 수행할 수 있어 보행 환경 인식 분야에서의 활용 가능성이 높다.

보행 보조기술에서는 환경 정보의 획득, 분석, 그리고 피드백 전달 과정이 연속적으로 이루어지기 때문에 지연을 최소화하고 환경 인식 결과를 사용자에게 신속하게 전달하는 것이 중요하다. 이러한 측면에서 XR 글래스는 사용자의 시점 영상을 직접 획득하고 온디바이스 AI와 결합하여 환경 정보를 빠르게 분석할 수 있어 시각장애인을 위한 보행 보조기술에 적용될 수 있는 잠재력을 가진다.

3.1 전체 시스템 구조 및 구성

제안 시스템은 보행 환경 인식과 원격 지원 기능을 통합하여 시각장애인의 보행 안전성과 이동 자율성을 지원한다. 사용자 주변 환경을 실시간으로 인식하면서 필요 시 원격 도우미의 지원을 받을 수 있도록 구성하였다. 전체 구조는 그림 2와 같다.

Fig. 2.

Architecture of the XR Glasses-based integrated walking assistance system

그림 2에 나타난 바와 같이, 제안 시스템은 XR 글래스, 스마트폰(온디바이스 AI 모듈), WebRTC 플랫폼 서버, 도우미 단말의 네 가지 구성 요소로 이루어진다. XR 글래스로 획득한 사용자 시점 영상은 스마트폰의 온디바이스 AI 모듈에서 처리되어 음성 안내로 사용자에게 제공되며, 동일 영상은 WebRTC를 통해 도우미 단말로 전달되어 필요 시 원격 지원으로 연결된다.

3.2 보행 장애물 감지 모듈

보행 장애물 감지 모듈은 XR 글래스를 통해 획득한 사용자의 시점 영상을 기반으로 보행 환경의 위험 요소를 탐지하고, 탐지된 결과를 사용자에게 전달하는 역할을 한다. 본 모듈은 객체 탐지, 위험도 분석, 음성 피드백 생성의 세 단계로 구성되며, 이를 통해 시각장애인이 보행 중 주변 환경의 위험 요소를 실시간으로 인지할 수 있도록 설계하였다.

모델은 YOLOv8-Nano를 사용하였으며, 보행 중 충돌 위험이 있는 고정 및 이동 장애물을 탐지 대상으로 선정하였다. 고정 장애물은 볼라드, 전봇대 등 8개 클래스, 이동 장애물은 자동차, 보행자 등 7개 클래스로 구성된다. 또한 각 클래스별로 5만 장 이상의 데이터를 라벨링하여 데이터셋을 구축하고, 이를 기반으로 모델을 학습하였다.

그림 3에 나타낸 바와 같이, 인공지능 모델은 모바일 환경에서 동작하는 구조로 이루어진다. 모델은 PyTorch로 학습한 후 양자화 및 ONNX 변환을 거쳐 스마트폰에서 실행된다. XR 글래스가 수집한 영상은 Unity 엔진으로 전달되어 Android 환경에서 처리 가능한 형태로 전처리된 뒤 모델에 입력되며, 모델은 신뢰도(Confidence) 0.5 이상의 후보 객체에 대해 NMS(Non-Maximum Suppression) IoU 임곗값 0.45를 적용하여 중복 박스를 제거하고, 클래스·바운딩 박스·신뢰도 정보를 출력한다. 출력 결과는 Unity에서 데이터 가공 및 사용자 인터페이스 처리를 거쳐 그림 4와 같이 XR 글래스 화면에 실시간으로 시각화된다.

Fig. 3.

Mobile deployment architecture of the AI model

Fig. 4.

Visualization of object detection results

탐지된 객체는 단순 표시를 넘어 보행 안전을 고려한 위험도 분석에 활용한다. 장애물의 종류, 위치, 크기, 거리 등을 반영하여 위험도를 산출하며, 여러 객체가 동시에 탐지될 경우 과도한 증가를 방지하기 위해 RSS(Root Sum Square)[14] 기반 결합 방식을 적용하였다. 이를 통해 다수의 객체가 존재하는 환경에서도 위험도를 안정적으로 계산할 수 있으며, 종합 위험도는 다음 식 (1)과 같이 정의된다.

여기서 n은 탐지된 장애물의 개수를 의미하며, W_type은 장애물 유형에 따른 가중치, W_pos는 사용자의 보행 방향 대비 객체의 위치에 따른 가중치, W_prox는 객체의 크기와 사용자와의 거리를 반영한 근접도 가중치를 의미한다. 각 가중치는 각 요소가 보행 안전에 미치는 상대적 영향을 고려하여 설정하였다. 이러한 요소를 종합하여 보행 환경의 위험도를 산출하며, 계산된 위험도는 안전, 주의, 위험, 심각의 네 단계로 분류된다. 위험도가 일정 임곗값 이상일 경우 해당 객체 정보를 음성 피드백 생성 과정으로 전달한다.

음성 피드백은 객체 탐지 결과를 기반으로 생성된 정보를 사전에 정의된 [위치]-[객체]-[위험도] 구조의 안내 템플릿에 적용한 후, TTS(Text-to-Speech) 기술을 통해 음성으로 변환하여 제공한다. 예를 들어 “전방에 차량이 감지되었습니다. 위험 단계입니다.”와 같은 안내를 생성한다. 이를 XR 글래스의 스피커를 통해 사용자에게 전달하며, 사용자는 보행 중 주변 환경의 위험 요소를 청각적으로 인지할 수 있다.

3.3 실시간 원격 도우미 서비스

실시간 원격 도우미 서비스는 자동 장애물 인식만으로 대응하기 어려운 상황에서 원격 도우미와 연결하여 사용자 시점 영상을 공유하고 음성 안내를 받을 수 있도록 지원한다. 사용자 단말과 도우미 단말은 WebRTC 기반 P2P 통신 구조로 연결하며, 초기 연결 협상을 위해 그림 5와 같이 Firebase Realtime Database를 시그널링 서버로 활용하여 SDP(Session Description Protocol)와 ICE Candidate 정보를 교환한다.

Fig. 5.

WebRTC-based communication architecture for the remote helper service

WebRTC 연결은 P2P 직접 연결을 우선 시도하며, 대칭 NAT(Symmetric NAT) 또는 방화벽 환경에서는 STUN/TURN 중계로 자동 전환한다. 이를 통해 이동 환경에서도 안정된 통신 연결을 유지한다.

XR 글래스로 촬영된 사용자 시점 영상은 전용 미들웨어인 NRSDK의 RGB 카메라 인터페이스로 이미지 센서에 직접 접근하여 처리 지연을 최소화한다. 이후 NRKernal의 RGB 텍스처 변환과 Android MediaCodec[15] 기반 하드웨어 가속 인코딩을 거쳐 압축한다. 압축된 영상을 WebRTC를 통해 도우미 단말로 전송하며, 기기 성능과 네트워크 상태에 따라 해상도를 동적으로 조절하여 시스템 부하를 감소시킨다.

사용자는 보행 중 추가 지원이 필요한 경우 스마트폰 애플리케이션을 통해 원격 지원을 요청할 수 있다. 요청 시 WebRTC 기반 통신으로 도우미 단말과 연결하고, 실시간 영상·음성 안내를 통해 예외 상황에 대응할 수 있다. 도우미 단말에서는 그림 6과 같이 사용자 시점 영상을 실시간으로 확인하며, 이를 기반으로 보행 환경을 파악한다.

Fig. 6.

Real-time video view of the helper terminal

이러한 구조를 통해 복잡한 교차로, 공사 구간 등 자동 인식 시스템이 대응하기 어려운 상황에서도 사용자와 도우미가 양방향으로 상호작용할 수 있다. 사용자는 도우미의 안내를 즉시 인지하고 반응할 수 있어, 단독 보행 시의 예외 상황 대응력이 향상된다.

4.1 객체 탐지 모델 성능 평가

모바일 환경에서 실시간 객체 탐지를 위해 정확도, 처리 속도, 자원 사용량을 고려한 모델 선택이 필요하다. 이에 경량 객체 탐지 모델을 대상으로 성능 평가를 수행하고 최적 모델을 선정하였다. 성능 평가를 위해 YOLO, MobileNet, EfficientDet, PP-YOLO 계열 및 TinyML 모델을 비교 대상으로 선정하였다. 각 모델은 COCO 데이터셋[16]에서 약 35,000장의 학습 데이터와 5,000장의 검증 데이터를 샘플링하여 학습 및 평가를 수행하였으며, mAP, FPS, 모델 크기, RAM 사용량을 기준으로 성능을 측정하였다.

최종 모델 선정을 위해 각 성능 지표를 정규화한 후 가중치를 부여하는 평가 방식을 적용하였으며, 식 (2)와 같이 최종 점수를 산출하였다.

여기서 F는 FPS, M은 mAP, R은 RAM 효율, C는 모델 크기 효율을 의미한다. 가중치는 보행 지원 도메인의 우선순위에 따라 설정하였다. 안전한 안내를 위해 약 30 FPS 이상의 처리 속도가 요구되므로 응답성에 직결되는 FPS에 0.4를 부여하였고, mAP는 후단의 위험도 분석·안내 템플릿이 일부 오탐을 보정할 수 있는 점을 고려하여 0.35로 설정하였다. RAM 효율과 모델 크기 효율은 최근 스마트폰 사양 향상으로 제약이 완화된 점을 반영하여 각각 0.15, 0.1의 보조 지표로 두어, 안전·실시간성과 자원 효율을 3:1 비중으로 평가하였다. 가중치 기반 평가를 통해 산출된 결과는 표 2에 나타난다.

Table 2.

Model performance evaluation results

표 2에서 확인할 수 있듯이, YOLOv8n 모델은 약 45FPS의 처리 속도와 73.5%의 mAP를 기록하여 모바일 환경에서 실시간 처리에 적합한 성능을 나타냈다. 반면, PP-YOLOv2 모델과 EfficientDet 계열 모델은 상대적으로 높은 정확도를 보였으나 처리 속도는 낮은 경향을 보였다. 또한 TinyML 모델은 약 50FPS로 가장 높은 속도와 200MB의 RAM 사용량, 4.0MB의 모델 크기를 기록하여 자원 효율성 측면에서는 우수한 성능을 보였으나, 정확도가 낮아 전체적인 성능 균형 측면에서는 한계를 보였다.

모델별 성능 측정 결과를 종합적으로 비교한 결과, YOLOv8n 모델이 89.2점으로 가장 높은 점수를 기록하였다. 이는 전체 모델 평균 점수(약 82.2점) 대비 약 8.5% 높은 수준으로, 정확도, 속도, 자원 효율성 측면에서 균형 잡힌 성능을 보여 모바일 환경에서의 객체 탐지에 적합한 모델로 판단된다.

4.2 시스템 성능 평가

보행 보조 시스템에서 신속하고 안정적인 정보 전달은 사용자 안전과 직결되는 요소이다. 따라서 보행 보조 시스템은 사용자에게 위험 정보를 인지 및 대응 가능한 시간 범위 내 제공할 수 있는 실시간성을 확보해야 한다.

제안 시스템의 성능을 분석하기 위해 처리 시간과 정보 추출 정확도, 데이터 전송 정확도 및 시스템 신뢰성을 평가하였다. 보행 장애물 감지 과정은 객체 탐지, 위험도 분석, 안내 문장 생성, TTS 변환의 4단계로 구성되며, 각 단계의 처리 시간을 독립적으로 측정하였다.

평가는 XR 글래스로 촬영된 이미지 1,000장을 기준으로 수행하였으며, 각 이미지에 대해 전체 처리 과정을 1회씩 수행하여 성능을 측정하였다. 각 처리 단계의 평균 소요 시간은 그림 7과 같다.

Fig. 7.

Average processing time per stage for obstacle detection

객체 탐지 단계는 평균 72 ms, 위험도 분석 단계는 15 ms, 안내 문장 생성 단계는 32 ms, TTS 변환 단계는 37 ms의 처리 시간이 소요되는 것으로 나타났다. 이를 종합한 전체 시스템 처리 시간은 약 0.16 s로 확인되었다. 또한, 본 연구에서 구축한 보행 장애물 데이터셋을 기반으로 학습한 모델의 보행 장애물 감지 정확도는 약 95.4%로 나타났다. 이는 제안한 모듈이 실시간 처리 성능과 인식 정확도를 동시에 확보하였음을 보여주며, 실제 보행 환경에서의 적용 가능성을 시사한다.

비대면 도우미 서비스 플랫폼의 응답 성능 분석 결과는 표 3과 같다. 동일한 사양의 XR 글래스와 스마트폰 5대를 이용하여 다중 클라이언트 환경을 구성하고 성능 평가를 진행하였다. 각 단말에서는 실제 서비스 환경을 모사하기 위해 영상 및 음성 데이터를 전송함과 동시에 일정 주기로 다수의 요청을 반복적으로 발생시켜 다중 사용자 환경에서의 서버 부하 상황을 재현하였다. 또한 네트워크 기반 성능 지표는 측정 환경에 따라 변동이 발생할 수 있으므로, 동일 조건에서 수집된 결과를 바탕으로 평균값을 산출하여 성능을 평가하였다.

Table 3.

Model performance evaluation results

평균 응답 속도는 요청 발생 시점부터 서버 응답 수신 시점까지의 지연 시간을 기준으로 산출하였으며, 약 0.04초 수준으로 나타났다. 이는 실시간 콘텐츠 제공 서비스에서 요구되는 응답 지연 기준을 충족하는 수준으로, 사용자와 원격 도우미 간 즉각적인 정보 전달이 가능함을 의미한다. 동시 접속 처리량은 단위 시간당 처리된 요청 수를 기준으로 계산하였으며, 평균 3,125건/s로 분석되었다. 이를 통해 다수의 사용자가 동시에 접속하는 환경에서도 안정적인 서비스 제공이 가능함을 확인할 수 있다. 또한 데이터 전송 정확도와 시스템 신뢰성은 각각 약 99% 수준으로 나타나, 다양한 환경에서도 안정적인 동작 성능을 확보한 것으로 판단된다.

4.3 사용성 평가

제안 시스템의 활용 가능성과 사용자 수용성을 검증하기 위해 시범서비스 기반 사용성 평가를 수행하였다. 평가 대상은 각 차수별로 10명의 시각장애인으로 구성하였으며, 1차와 2차 시범서비스로 구분하여 단계적으로 실험을 진행하였다.

1차 시범서비스는 XR 글래스 기반 정보 제공 기능에 대한 사용자 이해도 검증에 중점을 두었으며, 보행 보조 및 안내 기능 체험을 통해 정보 인지 여부와 사용 편의성을 평가하였다. 2차 시범서비스는 실제 보행 환경에서 수행하여 시스템의 실효성과 안정성을 검증하였으며, 장애물 인지와 원격 도우미 서비스 기능을 중심으로 사용자 경험을 평가하였다.

그림 8과 9는 시범서비스 수행 장면과 주요 설문 결과를 나타낸다.

Fig. 8.

Field test scene of pilot service

Fig. 9.

Key Usability Evaluation Results

설문 평가는 5점 척도 기반으로 수행하였으며, 정보 인지 지원, 보행 안전, 원격 도우미 서비스, 하드웨어 착용성 등의 항목으로 구성하였다.

평가 결과, 보행 중 위험 상황 인지를 지원하는 기능은 평균 약 4.3점으로 나타나 전반적으로 긍정적인 평가를 받았으며, 위험 상황을 사전에 인지하는 데 효과적인 것으로 나타났다. 또한 원격 도우미 서비스는 평균 약 4.6점으로 높은 만족도를 보였으며, 예외 상황 대응과 심리적 안정감 제공 측면에서 유의미한 효과를 나타냈다. 특히 음성 기반 안내 방식은 직관적인 정보 전달 수단으로 작용하여 높은 수용성을 보였다. 2차 시범서비스에서는 음성 품질(약 4.2점)과 음성 지연(약 4.0점)이 전반적으로 양호한 수준으로 평가되었다.

반면, XR 글래스의 하드웨어 요소에 대한 만족도는 상대적으로 낮게 나타났다. 기기 무게는 평균 약 3.1점, 착용감은 약 2.6점으로 평가되어 장시간 사용 시 피로감과 착용 부담이 존재하는 것으로 분석되었으며, 이는 기능적 완성도와 별개로 하드웨어 설계 개선의 필요성을 시사한다.