교통약자를 위한 스마트 보행기 구현

교통약자는 인지 저하로 인해 본인의 보행 속도를 빠르게 인식하는 경향이 있어 횡단보도 보행 시에 사고가 빈번히 발생한다. 사용자의 원활한 보행을 보조하기 위해 잔여 시간과 평소 보행 속도를 계산하여 보행 가능 판단 여부를 안내하는 사용자 맞춤형 도로 횡단 시스템을 구상했다. 이를 위해 NEO-7M GPS 수신 모듈로 현재 사용자의 위도, 경도와 속도 정보를 얻는다. 보행자의 위치 정보와 교차로 Map 정보 API를 연계하여 가장 인접한 교차로ID를 추출한다. 교차로ID를 이용하여 신호제어기 잔여시간 정보 서비스 API에서 건너고자 하는 횡단보도의 실시간 잔여 보행 시간을 데이터 프레임으로 저장한다. 이 데이터는 사용자 보행 속도를 통해 산출된 예상 횡단 시간과 비교하여 사용자의 횡단 여부를 판단한다. 예상 횡단 시간은 교차로 Map 정보 API에서 가져온 횡단보도 폭을 사용자 보행 속도로 나눠서 산출한다.

사용자 목적지에 도달하는 가장 빠른 대중교통 경로를 대중교통 길찾기 API로 검색하여 버스 번호를 추출한다. 해당 버스의 실시간 도착 정보를 조회하고 사용자에게 남은 도착 시간을 음성으로 안내한다. 버스가 정류장에 진입할 때 사용자에게 탑승을 안내한다. LCD에 도착 예정 정보와 정류장 상세 정보를 함께 안내한다. 이러한 시스템은 안전하고 간편한 길찾기와 버스정보제공을 통해 노약자들의 이동을 효과적으로 지원할 수 있다.

차량진출입로란 주차장, 주유소와 같은 장소에서 차량이 출입하기 위해 통과하는 도로를 말한다. 차량진출입로는 차량의 잦은 이동과 갑작스러운 경사, 시야 제한으로 인해 교통약자가 이를 인지하지 못해 안전사고가 발생할 위험이 크다. 이를 방지하기 위해 초음파 센서를 이용하여 차량진출입로 안내장치를 구현했다. 보행기 아랫부분에 초음파 센서 HC-SR04를 앞뒤로 2개 부착하여 보행기와 바닥 사이의 거리 D1, D2를 각각 측정한다. 일반적으로 차량 진출입로는 도로가 급경사인 경우가 다분하다. 보행기와 바닥 사이의 거리정보 측정값이 급변하는 점을 바탕으로 차량진출입로 여부를 판단한다.

그림 3에서 보이는 좌측 삼각형은 보행기 앞부분에 설치된 초음파 센서이고 우측 삼각형은 보행기 뒷부분에 설치된 초음파 센서이다. 각각 지면과 45° 각도로 부착되어 있다. 만약 보행자가 가야 할 경로에 차량진출입로가 존재한다면 앞부분 측정값과 뒷부분 측정값의 차이가 있을 것이다. 이때 측정한 빗변의 길이 D와 D+K 값의 차이, 즉 변화한 빗변의 길이인 K값이 15cm 이상이라면 라즈베리파이가 이를 차량 진출입로로 판단하여 안전을 위한 브레이크(서보모터)를 1초 동안 동작시킨다. 이 기능은 기존 차량진출입로에서 빈번히 발생하는 안전사고를 예방하기 위해 고안되었으며 주로 보행기를 사용하는 노약계층, 장애계층에게 유의미한 안전사고 예방 기능이 될 것이다.

Fig. 3.

illustraion of an entry and exit route decision algorithm

오르막길과 내리막길에서 발생할 수 있는 사고를 방지하기 위해 바퀴에 모터와 브레이크를 장착하여 사용자를 보조한다.

오르막길 보조 기능은 자이로 센서를 활용하여 보행기와 지면의 각도를 측정한다. 장애인, 노인, 임산부 등의 편의 증진 보장에 관한 법률에서 편의시설의 구조, 재질 등에 관한 세부 기준 제1호 나목에 따르면 진출입로 오르막 기울기를 최대 +6°로 제한하고 있다. 이에 본 보행기에서는 +2°에서 최대 기울기, +6° 사이의 각도를 감지하면 모터를 활용하여 사용자의 보행을 지원하고 경사로 구간에서 안정성을 높이도록 했다. 사용자의 평소 보행 속도와 경사각도, 날씨와 같은 변수를 고려하여 모터의 속도를 조절한다.

자동 멈춤 기능은 손잡이 하단에 부착된 압력 센서를 활용하여 주기적으로 압력을 감지하고 사용자의 보행 의지를 판단한다. 손잡이에 압력이 없을 때(P≅0), 경사로에서 미끄러짐을 방지하기 위해 브레이크를 제어한다. 사용자의 보행 의지가 감지되면 (P≠0) 브레이크가 해제되어 보행을 지원한다.

보행기를 이용하는 다수의 사용자를 고려한 사용자 맞춤 인터페이스를 제공하면서, 사용자 식별과 로그인 환경을 향상하기 위해 OpenCV와 웹캠를 활용한 얼굴 인식 시스템을 구현하였다. 사용 전에는 사용자의 얼굴 이미지를 보행기에 저장하여 개별적으로 식별할 수 있도록 하였다. 이를 위해 OpenCV를 사용하여 학습된 얼굴 데이터와 비교하여 얼굴 일치도가 75% 이상이면 해당 사용자로 인식하는 알고리즘을 도입하여 로그인 환경을 구현하였다.

그뿐만 아니라, 사용자의 편의성을 고려하여 사용자의 평소 보행 시간 및 자주 가는 목적지와 관련된 정보를 인터페이스상에서 제공한다. 이를 통해 사용자가 필요로 하는 정보를 쉽게 얻을 수 있다.

YOLO(You Only Look Once)는 객체 인식 알고리즘으로 카메라로 인식한 이미지에서 실시간으로 원하는 모델 검출을 구현한다. 기존의 R-CNN이나 Fast R-CNN 알고리즘에서 회귀(Regression)을 통한 추출과 이름 분류 작업이 두 개의 독립시행이지만 YOLO에게서는 추출과 분류를 한 번의 회귀 작업으로 통합하여 FPS(Frames Per Second) 성능을 개선했다[5]. FPS는 초당 프레임 성능으로 높은 수치일수록 자연스럽고 연속적인 인식이 가능하다. 그리고 이미지 전체를 한 번에 받아들여 컨볼루션(Convolution)과 맥스-풀링(Max-Pooling) 연산을 수행하기 때문에 불필요한 영역 분할 및 계산 과정을 생략하여 실시간 처리 용이성을 높였다[6]. 이에 따라 본 논문에서 YOLO 알고리즘으로 실시간 위험 객체 인식 시스템을 구성하였다.

보행기에서 실시간 이동 중 잠재적 위험 요소들을 인식하기 위해 출시된 YOLO 버전 중 v5를 사용한다. YOLOv5의 이전 버전에서 Darknet 방식의 CNN backbone structure을 채택했다면, 해당 모델은 특징 맵(Feature map)을 추출하기 위해 CSPNet을 사용했다[7]. CSPNet은 무거운 연산량 문제를 해결하여 Mobile GPU에서도 빠른 응답을 보장한다. 가벼운 모델 크기와 빠른 검출은 라즈베리파이같은 가벼운 하드웨어에서도 실시간 위험 인식을 충족한다. 또한 PyTorch 딥러닝 프레임워크를 사용하여 실시간 탐지 기능성을 높였다.

자동차, 오토바이, 흉기 등 요소들은 YOLOv5에서 MS COCO 데이터셋으로 사전 학습된 가중치들을 이용하여 인식한다. 실시간으로 빠른 요소 검출을 위해 경량화된 모델 파일, yolov5s.pt를 사용했다. 검출한 요소 중 잠재 위협들은 클래스별로 구분하여 정확도(Confidence)가 특정 수치 이상이면 인식 중인 화면을 라즈베리파이에 연결된 LCD 창에 띄우고, 알림을 커맨드창으로 전송한다.

보행자가 마주할 수 있는 또 다른 위험 요소인 포트홀을 검출하기 위해 Roboflow에서 포트홀 이미지 데이터셋(Pothole image Dataset)을 이용했다. Roboflow에서 총 665장의 통합된 포트홀 데이터들은 검출하고자 하는 모델에 경계 상자(Bounding box), 전처리 되어 있어 모델 학습에 유리하다. Google Colaboratory 환경에서 포트홀 데이터 학습을 진행했다.

Google Colaboratory는 하드웨어에 상관없이 동등한 CPU, GPU, RAM 성능을 보장하고 딥러닝 관련 라이브러리를 제공한다. Roboflow에서 가져온 포트홀 이미지들은 온라인 T4 GPU에서 데이터 크기(Batch size) 16, 반복 횟수(Epoch) 50번 학습을 실행했다. 이미지 크기는 416x416으로 조정하였고, 모델 파일은 yolov5s.yaml를 활용했다[8].

잠재적 위험 요소를 인식하기 위해 가벼운 라즈베리파이4 하드웨어를 사용하였고, Rasbian bullseye OS상에서 YOLOv5를 구동했다. 그리고 실시간으로 빠른 인식을 할 수 있도록 가장 경량화된 학습 데이터, yolov5s.pt를 사용하여 즉각적인 응답을 보장했다. 그림 4는 실시간으로 객체 검출을 수행 중인 모습이다. 이렇게 라즈베리파이와 연결된 카메라에서 읽는 도보 중 상황은 보행기 위 LCD에서 Tkinter 환경으로 송출한다. 동시에 자전거, 자동차, 오토바이 등 총 7가지 위험 요소에 대해 인식 결과 정확도(Confidence)가 50% 이상일 경우 사용자에게 커맨드창에서 문자 형식으로 경고 메시지를 보낸다. 그림 4처럼 주변 환경을 인식했을 때, 자동차의 경우 0.5 이하의 정확도에서 큰 오차를 보였다. 따라서 기준치는 그 값을 반영하여 50%로 설정하였다.

Fig. 4.

Object detection with YOLOv5

그림 5에서 사용자에게 LCD로 주변 상황을 송출하는 모습과 경고 메시지를 보내는 것을 확인할 수 있다.

Fig. 5.

Object detection alert display to users

기본적인 7가지 위험 요소들은 COCO dataset을 이용했지만, 포트홀의 경우 Roboflow에서 가져온 데이터들을 Google Colaboratory에서 학습했고, 생성된 pt파일을 Rasbian OS로 옮긴 후, YOLOv5로 똑같이 검출을 진행했다. 그림 6은 포트홀 검출을 진행한 결과이다. 포트홀을 인식했을 때 confidence가 50% 이상이면 경고 알람을 LCD 창으로 보내도록 했다. 포트홀은 이미지 데이터들을 직접 학습시켜 모델 파일들을 만들기 때문에 부여한 가중치에 따라 인식률에 차이가 발생한다.

Fig. 6.

Pothole detection with YOLOv5

본 논문에서는 데이터 크기 16으로 총 50번 학습을 진행했다. 그에 따른 인식률은 그림 7에서 (a)와 (c)의 loss function과 (b)와 (d)에서 정확성(Precision) 성능으로 나타내었다.

Fig. 7.

Loss and Precision curve after training pothole