HMI 시각정보 시스템을 활용한 사용자 인식 및 반응성 연구 : 아이트래커를 기반으로

Ⅰ. 서 론

본 연구는 자율주행차(CAV, Connected and Automated Vehicle)의 도입에 따라 탑승자 중심 차량 내 모바일 인터페이스의 가이드라인 설계를 주제로 수행되었다. 자율주행 환경은 운전자가 차량 제어에서 벗어나 탑승자로 전환되므로, 모바일 인터페이스를 통해 제공되어야 하는 정보의 적절성과 명확성은 안전성 확보뿐만 아니라 신뢰감 형성에도 핵심적인 역할을 한다고 볼 수 있다.

사용성 평가를 통한 모바일 기반 자율주행 탑승자용 HMI 개발 가이드라인 연구(2024)에서 전문가 피드백을 기반으로 운전자용 모바일 인터페이스 디자인 가이드라인을 개발하였으나, 해당 디자인 시안이 실제 탑승자의 인식이나 반응에 대한 적절성 검증은 부족한 상황이다[1].

따라서, 전문가 피드백 이전의 초기 모바일 인터페이스 디자인 시안을 기준으로, 실제 차량에서 탑승자들이 차량 내 모바일 단말기를 통해 시안별 인터페이스를 경험하였다. 이 과정에서 아이트래커를 활용하여 사용자 인식과 반응성을 측정하고, 최종적으로 디자인 가이드라인 설계의 실효성을 교차 검증하고자 한다.

본 연구의 목적은 전문가 피드백 기반 모바일 인터페이스 디자인 시안이 실제 탑승자에게도 유사한 인식 및 반응성을 유도할 수 있는지를 검증하는 것이다. 이를 통해 전문가 피드백 기반 설계 기준의 타당성을 확인하고, 실제 자율주행 환경에서의 적용 가능성을 평가하며, 향후 HMI 개발 가이드라인의 방향성을 제안하고자 한다.

연구의 전체 구조는 다음과 같다. I. 서론에서는 연구 배경과 필요성을 제시하고, 선행연구의 타당성을 검증하는 것을 목표로 설정하였다. II. 연구방법 설계에서는 실험을 계획하며, 시각정보별 인식 및 반응성의 평가 기준을 도출하였다. III. 연구 내용에서는 사용자 실험 결과를 분석하고, 초기 HMI 디자인과 피드백 HMI 디자인을 비교 검증하였다. IV. 결론 및 기대효과에서는 분석 결과를 종합하여 HMI 개발 가이드라인의 적용 방안을 구체화하였다.

Ⅱ. 연구방법 설계

그림 1은 연구방법의 전체 구성과 방법론의 적용 과정 및 진행 순서를 나타낸다.

Fig. 1.

Summary of research

연구 과정에서 활용된 모바일 인터페이스 디자인 시안은 ‘초기 HMI 디자인’으로 구분하며, 이는 실험에서 비교군의 역할을 한다. 선행연구를 통해 제시된 전문가 피드백 기반 디자인 시안은 ‘피드백 HMI 디자인’으로 정의하며, 이후 사용자 인식 및 반응성을 검증하는 기준으로 활용한다. HMI 디자인에 포함된 시각정보 요소는 네 가지로 A. 접근하는 차량의 방향을 안내하는 LAR(Look Around Ring), B. 주행 상황을 시각적으로 표현한 아이콘, C. 아이콘을 설명하는 텍스트, D. 아이콘+텍스트로 구성된다. 각 연구방법의 구성은 다음과 같다.

Step 1, 초기 HMI 디자인을 시각정보 구성에 따라 구분하고 평가할 수 있도록 실험을 설계하는 단계이다. 각 초기 디자인은 영상 데이터로 재구성하며, 사용자의 인식과 반응성을 중심으로 초기 HMI 디자인에서 검증할 요소를 설정한다. 인식이란 정보를 얼마나 잘 알아차리고 이해할 수 있는가를 의미하며, 반응이란 인지한 정보에 대해 빠르고 적절하게 판단하는가를 의미한다.

Step 2, 초기 HMI 디자인의 실험을 준비하는 단계이다. 실제와 유사한 환경에서 탑승자가 아이트래커를 통해 초기 HMI 디자인을 체험할 수 있도록 자율주행 상황을 가정한 테스트베드를 구성한다.

Step 3, 아이트래커를 활용하여 사용자 인식과 반응을 분석하는 단계이다. 탑승자가 초기 HMI 디자인을 체험하고, 선호도 인터뷰를 진행한다. 이후 탑승자의 시선추적 데이터와 인터뷰 응답을 비교하며, 인식 및 반응의 적절성을 평가한다.

Step 4, 초기 HMI 디자인의 인식 및 반응을 분석한 데이터를 피드백 HMI 디자인과 비교하여 모바일 인터페이스 디자인 시안의 타당성과 적용 가능성을 평가하는 단계이다. 이를 바탕으로 향후 HMI 개발 가이드라인의 방향성을 제안한다.

Ⅲ. 연구 내용

기존 연구에서 전문가 피드백은 LAR 스타일 3종 중 하나를 선택한 뒤, 동일한 LAR 내에서 텍스트, 아이콘, 텍스트+아이콘을 변경하여 비교하는 방식으로 이루어졌다. 이 방법은 각 LAR 스타일을 평가하기에는 유용했으나, 특정 스타일에만 시각정보 요소가 결합된 방식으로, 모든 조합을 분석하기 어렵다. LAR1+텍스트1, LAR2+텍스트1와 같은 조합이 다루어지지 않아, 시각정보 요소 간의 상호작용을 충분히 반영할 수 없는 한계가 있었다. 따라서 본 연구에서는 이를 고려하여 HMI 디자인의 프로토타입을 제작하고 실제 차량 환경에서 시선 추적에 기반한 사용자 관찰조사로 검증한다.

3.1 초기 HMI 디자인 실험 설계

초기 HMI 디자인의 평가를 위해 영상 데이터를 재구성하는 과정에서, 다양한 시각정보 조합을 반영하되 경우의 수가 과도하게 많아질 경우, 평가의 효율성이 저하될 수 있으므로 실험 단계를 구조화하였다. 실제 차량 환경에서는 탑승자가 전방 주시를 할지, 혹은 다른 용무를 수행할지 단정하기 어렵기 때문에 기존의 시각정보 평가 방식으로는 한계가 있다. 이에 따라 탑승자의 실제 시선을 기반으로 인지 및 반응성을 분석하기 위해 아이트래커를 보조적으로 활용하고, 초기 HMI 디자인의 시각정보를 효율적으로 제시하기 위해 유사한 의미를 갖는 정보를 묶어 대표 정보로 활용하였다. 이러한 유사 정보는 좌회전, 우회전과 같은 방향 정보거나 진입, 진출과 같은 구간 정보를 포함한다[2].

그림 2는 초기 HMI 디자인의 평가 요소와 실험 단계의 구조를 나타낸다. 평가 요소는 ① 시각정보 요소 위치(상/하), ② LAR 모션(Motion), ③ 아이콘 스타일, ④ 아이콘+텍스트 배치로 구성된다. 이 요소들은 사용자 인식 및 반응성 측면에서 검증할 수 있으며, 실험에서 활용된 주행 상황은 교차로 진출, 충돌 방지를 위한 감속, 차선 변경의 세 가지 상황으로 구성된 하나의 사이클로 편집하여 실험 전반에서 탑승자에게 제시하였다. 여기서 활용된 유사 정보 또한, 사이클로 구분되었으며, 각 디자인의 일관성을 위해 색상을 흑백으로 변경하였다. 다만 LAR 모션은 자율주행 상황에서 근접 차량과의 충돌주의를 나타내는 기능적 설명을 위해 초록색을 활용하였다. LAR1의 모션은 점선이 다른 주의 색상으로 깜빡거리는 모션이다. LAR2의 모션은 주의 색상이 좌우로 확산되는 파도형 모션, LAR3의 모션은 주의 색상이 안쪽에서 바깥쪽으로 밀려나는 모션으로 구성된다.

Fig. 2.

Initial HMI design and structure

3.3 실험 내용

그림 3은 실험 테스트베드 구성과 LAR 스타일 별 시선 추적 데이터 요약을 나타낸다. 본 연구는 심층관찰 연구이므로 표본은 10~15명 내외에서 진행하는 것이 일반적인데 이는 1인당 분석 시간이 1~2시간에 이르기 때문이다[3]. 이에 따라 실험에 참여한 탑승자는 총 14명이며, 운전 경력 3년 이상을 대상으로 진행되었다.

Fig. 3.

Eye-tracking distribution of participants

1단계에서는 차량 내 모바일 단말기 화면에서 시각정보 요소의 위치(상/하)에 따른 인지 및 반응성을 평가하였다. 그 결과 14명 중 11명이 화면 하단 배치를 선호하였고, 3명이 상단 배치를 선호하였다. 하단 배치를 선호하는 참여자들은 LAR 디자인의 시각적 무게감과 네비게이션의 맵(Map) 정보가 아래에서 위로 전개되는 익숙한 사용 경험을 이유로 들었다. 반면 상단 배치를 선호하는 참여자들은 전방주시 과정에서 고개의 움직임이 최소화되어 신체적 편함과 인지 속도가 빠르다는 점을 이유로 들었다. 해당 선호도와 응답을 시선 추적 데이터와 비교 분석한 결과, 시각정보와 계기판이 수평을 이루는 상단 배치에서 일부 탑승자는 시각정보와 속도계를 연속적으로 확인하는 시선 패턴이 관찰되었으며, 이를 탑승자 유형으로 구분할 수 있다[5]. ‘전방주시 중심형’ 탑승자는 시야 범위 상단에서 정보를 확인하는 경향이 있고, ‘단말기 중심형’ 탑승자는 인터페이스를 주된 정보로 인식하여 하단 배치에서 인지가 빠른 것으로 분석된다. 또한, 텍스트만으로 구성된 시각정보를 제시하였을 때, 14명 중 2명만이 정보를 완전히 인지한다고 응답하였다. 여기서 탑승자가 텍스트를 응시한 시간은 평균 1.6초(시선 정확도 74%) 소요되었으며, 상황 인지가 지체되는 경우, 전방으로 이탈하는 시선 패턴이 관찰되었다[6]. 이는 자율주행 시스템에 대한 신뢰 수준에 따라 정보 인지에 차이가 발생할 수 있음을 의미하고, 이와 관련하여 텍스트 단독 정보는 가독성이 낮아 컬러를 활용한 부분적 강조가 필요하다는 의견이 있었다.

2단계에서는 LAR 스타일과 모션의 인지 및 반응성에 미치는 효과를 검증하였다. 실험에서는 모션의 기능 충족 여부를 확인하기 위해 모션의 기능을 사전에 안내하지 않은 상태에서 진행되었으며, 이후 해당 기능의 목적을 설명한 뒤 기능 충족 여부를 질문하였다. 그 결과 14명 중 LAR1을 선호하는 탑승자는 2명, LAR2는 8명, LAR3은 4명이었다. LAR1은 깜빡거리는 모션으로 다른 정보와 시각적 간섭이 적어 이해하기 쉽다는 이유로 선호되었고, LAR2는 좌우로 확산되는 파도형 모션이 안정적이고 부드러워 인식성이 높다고 응답하였다. LAR3은 안쪽에서 바깥쪽으로 밀려나는 모션 영역이 넓어 인식성이 높았으나, 전진하는 듯한 모션으로 보여 주의보다는 진행의 의미로 해석된다는 의견이 있었다. 시선 추적 데이터 비교 분석 결과, 주의 모션과 함께 경고음이 제시된 경우에도 일부 탑승자는 모바일 단말기를 바라보지 않고 전방주시를 지속하는 시선 패턴이 관찰되었다. 이러한 시선 패턴은 14명 중 9명에게서 발생하였으며, 탑승자가 실제로 단말기 화면을 응시한 시간은 평균 0.9초(시선 정확도 86%)에 불과했다. 해당 구간은 사이클 영상 내 충돌주의 상황처럼 즉각적인 반응이 요구되는 상황으로, 일부 탑승자는 시각정보를 전혀 확인하지 않은 채 음성 안내만으로도 반응하였다. 이러한 반응이 요구되는 상황에서는 시각정보 확인이 어렵다는 결과이기도 하다. 따라서 시각적 주의 모션 외에도 음성 안내와 경고음이 인지 및 반응성에 중요한 요인으로 작용함을 의미한다. 이어서 해당 실험 또한, 탑승자 시선 유형으로 차이를 보였다. 전방주시 중심형 탑승자는 강조되는 정보보다 주변 시야에서 자연스럽게 감지되는 모션(LAR2)을 안정적으로 인식하였다. 반면 단말기 중심형 탑승자는 여러가지 정보 중에서 명확히 구분되는 모션(LAR3)에 높은 반응성을 보였다. 따라서 LAR 스타일의 주의 모션은 표현보다 탑승자 유형별 시선 패턴을 고려해야 하고, 주의 모션의 프레임 속도를 조절하여 부드러운 느낌보다는 경고하는 느낌으로, 경고 수준을 탑승자가 조절할 수 있도록 개선할 필요가 있다.

3단계에서는 각 탑승자가 선호하는 LAR 스타일에 아이콘 스타일을 적용하여 인지 및 반응성을 검증하였다. 그 결과 14명 중 1명이 아이콘1을 선호하였고, 13명이 아이콘3을 선호하였다. 아이콘1은 직관적인 표현으로 상징성이 명확하지만 정보량이 부족하다는 의견이 대부분이며, 아이콘2는 추상적 표현으로, 인지하고 이해하는 과정이 길어져 인지 부하가 높다고 평가되어 선호도가 낮았다[7]. 반면, 아이콘3은 3인칭의 입체적 표현으로 차량 인터페이스에서 익숙하게 경험한 표현이기 때문에, 즉각적 인지가 가능하다고 응답하였다. 해당 실험에서는 탑승자 시선 유형 별 차이는 관찰되지 않으며, 주행 환경과 제공받는 정보가 일치할수록 상황 인지가 우수할 것으로 분석된다. 이를 통해 아이콘3이 HMI 가이드라인에 적합한 디자인이며, 탑승자의 주행 환경 인식과 반응성 측면에서도 적절하다. 그림 4는 2, 3단계 실험 결과를 통해 초기 HMI 디자인의 검증 내용을 나타낸다.

Fig. 4.

Validation of the initial HMI design

4단계에서는 아이콘과 텍스트 배치 순서에 따른 인지 및 반응성에 미치는 효과를 평가하였다. 그 결과 14명 중 절반은 텍스트 상단–아이콘 하단 배치를, 나머지 절반은 그 반대의 배치를 선호하였다. 텍스트 상단 배치를 선호하는 참여자들은 텍스트의 의미를 먼저 파악한 후 아이콘을 통해 시각적 이해를 보완하는 것이 효율적이라고 응답하였다. 해당 실험 역시 탑승자 시선 유형으로 차이를 보였다. 전방주시 중심형 탑승자는 텍스트를 먼저 인식하고 의미를 해석한 뒤 전방으로 복귀하는 시선 패턴이 관찰되었으며, 단말기 중심형 탑승자는 직관적인 아이콘을 먼저 인지한 후 텍스트를 통해 의미를 확인하는 시선 패턴을 보였다. 이를 통해 자율주행 환경에서는 시각정보 조합보다 상황 인식의 명료성이 더 중요한 요인으로 작용할 수 있다. 여기서 탑승자가 실제로 단말기 화면을 응시한 시간은 평균 1.3초(시선 정확도 80%)로 인지 속도가 다소 느리더라도 텍스트가 직접적인 상황 정보를 제공할 수 있으므로 음성 안내를 포함한 텍스트 상단–아이콘 하단 배치가 기본 구조로 적절하다고 분석되었다. 그림 5는 1~4단계 실험의 질문에 대한 응답 분석을 나타낸다. 2, 3단계 실험의 검증 내용을 근거로 한 응답과 1, 4단계 실험의 주요 의견을 종합적으로 분석하여 초기 HMI 디자인에서 요구되는 개선 사항을 분석하였다.

Fig. 5.

Response summary of participants

Ⅳ. 결론 및 기대효과

실험과 시선 추적 데이터의 결론을 정리하면, 기존 연구에서 제안된 모바일 운전자용 HMI 설계 가이드라인이 실제 차량 환경에서도 동일한 인식과 반응을 유도할 수 있었다.

시각정보 요소의 위치와 배치, 그리고 LAR 및 아이콘 스타일에 따라 탑승자의 인지 효율과 반응성에 유의미한 차이가 나타났다. 1, 4단계에서는 하단 배치형 구조와 텍스트 상단–아이콘 하단 구조에서 가장 높은 인지 효율을 보였으며, 이는 네비게이션 맵 정보와의 시각적 간섭이 적고, 시선 이동 경로가 짧게 유지되어 시선 집중도가 유지된 결과로 분석된다. 2, 3단계에서는 LAR2 모션과 아이콘3 조합이 가장 높은 반응성을 보였으며, 탑승자들은 해당 조합이 주의 모션이 직관적이고, 상황을 이해하기 쉽다고 응답하였다. 이는 전문가 피드백을 반영한 설계 요소가 실제 탑승자에게도 직관적인 정보를 전달할 수 있음을 의미한다.

또한, 시선 추적 데이터 분석에서 탑승자는 전방주시 중심형과 단말기 중심형의 두 유형으로 구분할 수 있으며, 각각의 시각정보 배치에 따라 인지 반응 차이를 보였다. 전방주시 중심형은 상단형 배치형 인터페이스에서, 단말기 중심형은 하단 배치형 구조에서 인지 효율을 보인다. 이는 기존 가이드라인에서 제안한 하단 배치형 구조가 실제 차량 환경에서도 일정 수준의 인지 효율을 제공한다는 점을 실험적으로 검증한 결과이다. 추가적으로, 텍스트 단독 정보는 가독성이 낮아 부분적 강조가 필요하며, LAR 주의 모션은 진행의 의미보다는 ‘주의’의 의미로 해석되도록 표현을 명확히 할 필요가 있다.

이를 반영하여 그림 6과 같이 HMI 디자인 가이드라인을 보완 및 정의하였다. 다만, 실험이 자율주행 환경을 가정한 조건에서 진행되었기 때문에, 관찰된 시선 패턴만으로 모든 탑승자 유형을 일반화하기에는 제약이 있다. 실제 자율주행 상황에서는 전방을 주시하지 않거나 안내 음성만으로 충분히 상황을 인식하는 등 다양한 유형의 탑승자가 존재할 수 있다.

Fig. 6.

Refined scope of HMI design and guidelines

또한 실험 참여자는 운전 경력이 3년 이상의 운전자로 구성되어 전방 주시하는 운전자의 인지적 습관이 시선 추적 데이터 분석 결과에 영향을 미쳤을 가능성이 있다. 이에 따라 자율주행 서비스를 경험하는 비운전 탑승자의 시선 패턴은 이와 다르게 나타날 수 있으므로, 본 연구 결과는 운전 경험이 있는 탑승자에 국한된다는 점에서 한계가 있다. 향후 연구에서는 운전 경험 유무에 따른 시선 패턴의 차이를 검증할 필요가 있다.

그럼에도 불구하고 아이트래커를 통한 시선 추적 데이터를 중심으로 초기 HMI 디자인의 적용 가능성을 분석하였을 때, 본 연구에서 다룬 HMI 디자인 가이드라인은 실험 탑승자들의 인식과 반응성을 근거로 실제 차량 환경에서 적용 가능한 범위로 판단된다[8]. 이러한 결과는 자율주행차 HMI 설계 시 단순히 화면 배치와 시각 요소만 고려하는 것이 아니라, 탑승자 유형과 주행 맥락, 정보의 직관성, 시선 패턴 등을 종합적으로 고려한 정보 배치가 필요함을 시사한다. 이를 통해 안전성과 편의성 향상, 인지 부담 감소, 그리고 사용자 경험 개선 등 실질적인 설계 효과를 기대할 수 있다. 향후 CAV 탑승자 중심의 설계 기준을 마련하는 데 기여할 것으로 기대한다.

Acknowledgments

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었습니다(과제번호 RS-2022-00142565)

References

• H. Lee, S.-J. Jeong, Y.-J. Lee, and Y.-Y. Kim, "Research on HMI Development Guidelines for Mobile-based Autonomous Driving Riders Through Usability Evaluation", Journal of Korean Institute of Information Technology, Vol. 22, No. 12, pp. 209-216, Dec. 2024. [https://doi.org/10.14801/jkiit.2024.22.12.209]
• Y.-Y. Kim, J.-H. Oh, S.-Y. Jeon, and H. Lee, "Research on the Autonomous Vehicle HMI Content Message Development based on User-Centered Context Analysis Method", Journal of Korean Institute of Information Technology, Vol. 22, No. 11, pp. 127-134, Nov. 2024. [https://doi.org/10.14801/jkiit.2024.22.11.127]
• M. Wang, S. Shashank, and Y. Zhang, "Human-Machine Interfaces and Vehicle Automation: A review of the literature and recommendations for system design, feedback, and alerts", Transportation Research Part F: Traffic Psychology and Behaviour, Vol. 85, pp. 1-17, Nov. 2024. [https://doi.org/10.1016/j.trf.2024.04.013]
• G. Guest, A. Bunce, and L. Johnson, "How many interviews are enough? An experiment with data saturation and variability", Field Methods, Vol. 18, No. 1, pp. 59-82, Feb. 2006. [https://doi.org/10.1177/1525822X05279903]
• J. Shi, C. Chai, R. Cai, H. Wei, Y. Zhou, H. Fan, W. Zhang, and N. Merat, "Effects of various in-vehicle human–machine interfaces on drivers’ takeover performance and gaze pattern in conditionally automated vehicles", International Journal of Human-Computer Studies, Vol. 192, No. 103362, pp. 1-13, Sep. 2024. [https://doi.org/10.1016/j.ijhcs.2024.103362]
• R. C. Gonçalves, T. Louw, R. Madigan, and N. Merat, "The effect of information from dash-based human-machine interfaces on drivers’ gaze patterns and lane-change manoeuvres after conditionally automated driving", Accident Analysis & Prevention, Vol. 166, pp. 106726, Jun. 2022. [https://doi.org/10.1016/j.aap.2022.106726]
• L. Morra, F. Lamberti, F. G. Pratticó, S. La Rosa, and P. Montuschi, "Building trust in autonomous vehicles: Role of virtual reality driving simulators in HMI design", arXiv preprint arXiv:2007.13371, , Jul. 2020. [https://doi.org/10.48550/arXiv.2007.13371]
• G. E. Won and H. S. Kwon, "Proposing user-centered HMI design guide for digital manufacturing: Focusing on PBF metal additive manufacturing machine", Design Research, Vol. 9, No. 1, pp. 151-167, Mar. 2024. [https://doi.org/10.46248/kidrs.2024.1.151]