YOLO는 단일 신경망을 통한 실시간 객체 탐지 알고리즘으로, 컴퓨터 비전 분야에서 주목받고 있다. 최신 버전인 YOLOv8은 anchor-free 방식을 도입하여 객체 탐지의 효율성과 정확도를 크게 향상시켰다[8]. Anchor-free 접근법은 사전 정의된 anchor box에 의존하지 않고 직접적으로 객체의 중심점과 크기를 예측함으로써, 다양한 크기와 형태의 객체를 더 유연하게 탐지할 수 있다[9]. 이러한 특성은 시각장애인 보행 안전 시스템에서 다양한 장애물과 위험 요소를 신속하고 정확하게 식별하는 데 유리하다. 그러나 YOLOv8의 최적 성능 발휘를 위해서는 여전히 클래스당 상당한 수의 레이블링된 이미지가 요구되며, 이는 특수 목적 응용 분야에서 중요한 제약 요인으로 작용한다[10].

Few-shot Learning은 제한된 학습 데이터 환경에서도 효과적인 모델 학습을 가능하게 하는 접근 방식이다. 이 방법은 메타 학습(Meta-learning) 원리를 기반으로 하여, 새로운 클래스나 객체에 대해 소수의 예제만으로도 빠르게 적응할 수 있는 능력을 갖추고 있다[11]. 특히 모델 불가지론적 메타 학습(MAML, Model-Agnostic Meta-Learning)은 극히 제한된 데이터 환경(예: 5-way 1-shot 작업)에서도 우수한 성능을 보였으며, 이는 다양한 환경 조건에서의 객체 탐지 능력 향상에 중요한 시사점을 제공한다[12]. 이러한 특성은 시각장애인 보행 안전 시스템에서 새로운 환경이나 예상치 못한 장애물에 대해 신속하게 적응할 수 있는 가능성을 제시한다.

다만 Few-shot Learning방법은 높은 계산 복잡도를 수반하며, 실시간 추론 과정에서의 효율성 문제는 여전히 해결해야 할 과제로 남아있다[2].

Grounding DINO는 텍스트 프롬프트를 기반으로 객체의 위치를 특정할 수 있는 Vision-Language 모델이다. 이 모델은 자연어 입력을 바탕으로 임의의 객체를 탐지할 수 있는 능력을 보여주며, 특히 레이블링되지 않은 데이터에서도 높은 정확도의 객체 탐지가 가능하다는 점에서 주목할 만하다[6]. Grounding DINO는 COCO데이터셋에서 zero-shot 조건에서 52.5 AP의 우수한 성능을 달성하였으며, 이는 다양한 도메인에서의 일반화 능력을 입증하는 결과이다[7]. 이러한 특성은 시각장애인 보행 안전 시스템에서 사용자의 음성 명령이나 특정 상황 설명을 바탕으로 관련 객체나 위험 요소를 정확히 식별하고 위치를 파악하는 데 효과적으로 활용될 수 있다. 그러나 실시간 처리 능력과 모델의 크기 최적화는 실제 응용에 있어 여전히 개선이 필요한 부분으로 남아있다.

보행자 시점의 제한된 데이터 환경에서 효과적인 특징 학습을 위해 Few-shot Learning 기반의 접근 방식을 도입한다. 본 연구에서는 시각장애인의 보행 특성을 고려하여 횡단보도 영역, 신호등 상태, 그리고 장애물 요소를 주요 객체 클래스로 정의하였다. 각 클래스별 특징 추출은 프로토타입 네트워크를 기반으로 수행되며, 프로토타입 벡터 p는 식 (1)과 같이 계산된다.

여기서 S_l는 k번째 클래스의 support set이며, f_θ는 특징 추출기를 나타낸다. 특히 횡단보도 영역의 경우, 보행 방향성과 횡단 거리를 고려한 기하학적 특징 추출에 중점을 두었으며, 신호등 상태 인식을 위해서는 색상 변화와 시인성에 관한 특징을 중점적으로 추출한다. 장애물 요소의 경우, 보행자와의 상대적 위치와 이동성을 기준으로 한 특징 추출을 수행한다.

시각장애인 보행 환경에 특화된 자동 레이블링을 위해 Grounding DINO의 Vision-Language 기반 접근 방식을 활용한다. 그림 2는 본 연구에서 제안하는 자동 레이블링 프로세스의 구조도를 나타낸다. 입력 이미지의 전처리 단계부터 최종 레이블 검증까지의 전체 과정을 체계화하였으며, 특히 다단계 검증을 통한 레이블의 신뢰성 확보 과정을 상세히 구현하였다.

Fig. 2. 
Hierarchical structure of automatic labeling process

자동 레이블링 과정에서는 보행 환경의 특수성을 반영한 텍스트 프롬프트를 설계하여 활용한다. 예를 들어, 횡단보도 영역 검출을 위해서는 "보행자 진행 방향의 횡단보도 시작점과 종료점"과 같은 구체적인 프롬프트를, 신호등 상태 인식을 위해서는 "보행자 신호등의 현재 점등 상태"와 같은 상황 특정적 프롬프트를 적용한다.

생성된 레이블의 신뢰성 확보를 위해 다단계 검증 프로세스를 도입하였다. 첫째, 객체 검출 결과의 신뢰도 점수가 0.75를 초과하는 경우만을 유효한 레이블로 간주하는 필터링을 수행한다. 둘째, 검출된 객체들 간의 공간적 관계를 평가하기 위해 IOU(Intersection over Union) 값이 0.5를 초과하는 경우에만 해당 객체들의 상대적 위치가 일관성 있다고 판단한다. 마지막으로, 연속된 프레임에서의 객체 위치 변화를 분석하여 시간적 연속성 점수가 0.8을 초과하는 경우에만 해당 객체의 움직임이 자연스럽다고 판단한다.

IOU 임계값과 시간적 연속성 점수의 최적값 선정을 위한 실험적 분석을 수행하였다. IOU 임계값의 경우, 0.3에서는 과대 검출로 인한 False Positive가 증가하였고, 0.7 이상에서는 과소 검출로 인한 False Negative가 증가하는 경향을 보였다. 0.5에서 최적의 precision-recall 균형점을 확인할 수 있었다. 시간적 연속성 점수는 0.6에서 객체 추적의 불안정성이 관찰되었으며, 0.9에서는 과도한 필터링으로 인한 정보 손실이 발생하였다. 0.8에서 안정적인 객체 추적과 노이즈 제거의 최적 균형점을 도출하였다. 이러한 실험적 분석을 통해 도출된 임계값들을 적용함으로써, 자동 생성된 레이블의 정확성과 신뢰성을 크게 향상시킬 수 있었다.

이처럼 다단계 검증 프로세스와 실험적 분석을 통해 최적화된 임계값들을 적용함으로써, 시각장애인 보행 환경에 특화된 고신뢰도의 자동 레이블링 시스템을 구현하였다. 특히 객체 검출의 신뢰도, 공간적 관계의 일관성, 그리고 시간적 연속성이라는 세 가지 핵심 지표를 기반으로 한 검증 체계는 레이블의 품질을 보장하는 동시에 실제 보행 환경의 특성을 효과적으로 반영할 수 있게 하였다.

Few-shot Learning과 Grounding DINO의 결과를 통합하여 YOLO 모델을 최적화한다. 그림 3은 본 연구에서 제안하는 통합 최적화 프로세스의 구조도를 나타낸다.

Fig. 3. 
Feature fusion and learning process for YOLO integration optimization

특징 추출 결과와 레이블링 결과가 Feature Integration 모듈을 통해 통합되고, 이를 기반으로 YOLO 모델의 최적화가 이루어지는 전체 과정을 체계화하였다.

모델 최적화 과정에서는 신뢰도 기반의 가중치 손실 함수를 도입하여 자동 생성된 레이블의 품질을 학습에 반영한다. 손실 함수는 식 (2)와 같이 정의된다.

여기서 L_det는 객체 검출 손실, L_feat는 특징 매칭 손실, L_conf는 신뢰도 기반 손실, L_reg는 정규화 손실을 나타낸다. 특히 시각장애인의 보행 환경을 고려하여 다양한 조도 조건에서의 강건성 확보를 위해 배치 정규화 통계량을 식 (3), (4)와 같이 동적으로 조정한다.

여기서 α는 현재 이미지의 조도 조건에 따라 0에서 1 사이의 값으로 결정된다. α파라미터의 최적값은 다양한 조도 환경에서의 객체 탐지 성능 실험을 통해 도출되었다. 각 조도 구간별로 객체 탐지의 정확도(mAP)와 일관성을 기준으로 최적값을 선정하였으며, 실험적 분석을 통해 다음과 같이 설정하였다.

주간 맑음(10000lux 이상)에서는 높은 조도로 인한 과다 노출을 억제하기 위해 α는 0.2로, 주간 흐림(1000~10000lux)에서는 중간 조도에서의 특징 보존을 최적화하기 위해 α는 0.4로 설정하였다. 야간 도심(10~1000lux)에서는 저조도 환경에서의 특징 강화를 위해 α는 0.6으로, 야간 외곽(10lux 미만)에서는 극저조도 환경에서의 객체 식별력 향상을 위해 α는 0.8로 설정하였다. 이를 통해 날씨나 시간대의 변화에도 안정적인 성능을 유지할 수 있도록 하였다.

AI Hub에서 제공하는 인도 보행 영상 데이터셋을 기반으로 실험용 데이터셋을 구성하였다. AI Hub의 데이터셋은 다양한 도시 환경에서 수집된 고해상도 보행자 시점 영상으로, 29종의 장애물 객체와 노면 상태에 대한 어노테이션을 포함하고 있다. 본 연구에서는 전체 데이터셋 중 36,808장의 이미지를 기본 학습 데이터로 사용하였으며, 데이터 증강 기법을 통해 다양한 환경 조건을 반영하였다.

구체적으로는 밝기 조절, 대비 조정, 노이즈 추가 등의 방법으로 주/야간 및 날씨 변화를 시뮬레이션하여 데이터를 확장하였다. 최종적으로 증강된 데이터셋은 학습용 55,000장, 검증용 5,000장으로 구성되었으며, 특히 시각장애인의 실제 보행 환경을 고려하여 다양한 조도 조건과 날씨 상황이 균형있게 포함되도록 하였다.

제안된 방법의 성능을 기존 YOLO 모델과 비교한 실험 결과는 표 1과 같다. 실험 결과를 통해, 제안된 방법이 기존 YOLO 모델과 비교하여 유사한 수준의 성능(mAP 0.80)을 유지하면서도 필요한 레이블 데이터를 클래스당 평균 150장으로 크게 줄일 수 있음을 보여준다. 또한 42 FPS의 처리 속도와 3.5GB의 메모리 사용량을 달성하여 실시간 처리가 가능한 수준의 성능을 확보하였다. 특히 메모리 사용량의 감소는 실제 모바일 환경에서의 활용 가능성을 높였다는 점에서 의미가 있다.

그림 4는 환경 조건별 객체 탐지 성능을 비교 분석한 결과이다. 주간 맑은 날씨에서 제안된 모델은 mAP 0.85를, 우천 시에도 0.82의 성능을 보였다.

Fig. 4. 
Comparative analysis of object detection performance under various environmental conditions

특히 야간 조건에서도 맑은 날씨에서 0.80, 우천 시 0.78의 mAP를 유지하여, 열악한 환경에서도 안정적인 성능을 보였다. 특히 기존 YOLO 모델과 비교하여 환경 변화에 따른 성능 저하가 평균 20% 감소하였다는 점은 주목할 만하다. 그림 5는 이러한 차이를 야간 우천 조건에서 시각적으로 보여준다. 기존 YOLO 모델의 mAP가 0.65로 떨어진 반면, 제안된 모델은 0.78을 유지하여 환경 적응성이 크게 향상되었음을 확인할 수 있다. 특히 시각장애인의 안전과 직결되는 오탐지(False positive)와 미탐지(False negative) 사례를 상세 분석하였다. 보행 위험 요소 탐지에서는 False Negative Rate를 5% 이하로 유지하여 안전성을 확보하였다. 횡단보도 영역 탐지의 False Positive Rate는 3% 미만으로, 불필요한 정지 안내를 최소화하였다. 또한 신호등 상태 인식의 정확도는 98%를 달성하여 오판독으로 인한 위험 요소를 제거하였다. 이러한 결과는 시각장애인의 안전한 보행을 위한 실용적 적용 가능성을 보여준다.

Fig. 5. 
Object detection performance comparison in night rain conditions

그림 6은 시간에 따른 메모리 효율성과 처리 속도의 변화를 보여준다. 제안된 모델은 초기 실행 이후 안정적인 메모리 사용량을 유지하며, 장시간 실행 시에도 메모리 누수 현상이 발생하지 않았다. 이는 Few-shot Learning과 Grounding DINO의 효율적인 통합이 메모리 관리 측면에서도 긍정적인 영향을 미쳤음을 보여준다.

Fig. 6. 
Memory efficiency analysis over time

실험 결과를 종합하면, 제안된 프레임워크는 다음과 같은 세 가지 측면에서 우수성을 보였다. 첫째, 레이블링된 데이터 요구량을 크게 감소시키면서도 준수한 성능을 유지하였다. 둘째, 다양한 환경 조건에서 안정적인 객체 탐지 성능을 보여주었다. 셋째, 실시간 처리가 가능한 수준의 계산 효율성을 달성하였다.