사용자 중심 컨텍스트 분석 방법을 이용한 자율주행 HMI 콘텐츠 메시지 개발

Ⅰ. 서 론

현재 자율주행 차량은 운전자를 보조하는 정도로 상용화되고 있다. 운전자를 보조하는 정도의 자율주행 차량이 아닌 이용자의 개입 없이 주행이 가능한 완전 자율주행 차량의 상용화를 위해서, 현재의 자율주행 개발뿐만 아닌 교통 체계 및 법률 등 다방면의 개정 및 개발이 필요하다.

완전 자율주행 차량이 상용화되는 과정에서 CAV(Connected and Automated Vehicle)와 CHV(Conventional Human-operated Vehicle)가 도로에 혼재하는 상황을 예측할 수 있는데, 이 상황에서 CAV 이용자의 자율주행 과정 중 발생하는 여러 가지 상황에 주행 정보와 상태정보가 필요한 경우가 발생한다[1]. 따라서 도로 상황 및 차량 상호작용 알고리즘 개발뿐만 아니라 차량과 차량 이용자 간 소통에 관한 사용자 중심 HMI 콘텐츠를 연구할 필요성이 있다.

사용자 중심 HMI 콘텐츠를 분석하고 개발하는 것이 핵심이기 때문에 CAV의 주변 환경과 차량간 소통에 관련된 내용 중 ‘자율주행 차량을 위한 HMI 개발 부분’을 중심으로 진행하였다. 본 과정의 범위는 CAV와 CHV가 혼재된 상황 중 인프라의 통제가 필요한 12가지 핵심 유스케이스(자율주행 상황의 공간적 범위와 주행 의도에 따라 선정한 12개 시나리오)로 하며, 이는 중요 IG(Infra Guidance)에 대한 선행연구의 정의를 기반으로 하였다. "자율협력주행을 위한 인프라 가이던스 서비스 유스케이스 도출 방법론 연구"[2]는 IG 서비스가 실시간 도로 동적 상황을 기반으로 보다 적극적으로 자율주행을 지원하고 이를 통해 교통류 최적화를 달성하기 위한 교통 운영 서비스라고 정의한다. 즉, IG는 센서 기반의 동적 정보를 수집하여 이를 활용해 IG 정보를 생성하고, 이 정보를 CAV에 지시 또는 권고하는 구조이다. 자율주행 차량의 사용자 중심 HMI 콘텐츠로서 인프라의 주행 관련 가이드 내용을 CAV 탑승자가 이해하도록 해석하여 전달하는 것을 ‘콘텐츠 메시지’라고 정의하였다.

본 과정의 목표는 12가지 핵심 유스케이스의 컨텍스트를 기반으로 상황에 따라 대응하는 콘텐츠 메시지 세트를 개발하고, HMI에 적용할 디자인 요소를 도출하는 것이다. 그림 1은 콘텐츠 메시지 개발 구성 요소 체계도이다[3].

Fig. 1.

Contents message set development system

위 체계도는 유스케이스의 주행 시나리오를 기반으로 컨텍스트를 분석하여 일반 메시지와 이벤트 메시지로 구성된 ‘콘텐츠 메시지 세트’의 개발 구조를 설명한다.

사용자 중심 HMI 콘텐츠를 개발하는 것의 핵심은 12가지 핵심 유스케이스의 컨텍스트를 분석하여 콘텐츠 메시지를 도출하는 것이다. 이를 통해 CAV 이용자에게 전달되는 콘텐츠 메시지를 사용자 중심으로 디자인할 수 있다[4].

사용자 중심 자율주행 차량 HMI 콘텐츠를 개발하는 과정에서, 핵심 유스케이스에서 필요한 콘텐츠 메시지가 무엇인지 분석하기 위해 컨텍스트 분석법을 설계하였다. 컨텍스트 분석법은 상황을 구성하는 개체들과 개체 간 상호작용에 대한 작업을 분석하고, 이에 따라 이용자에게 미치는 영향을 도출하는 방법이다. 그림 2는 컨텍스트적 디자인 방법론을 활용한 컨텍스트 분석법의 개념도이다.

Fig. 2.

Context-based contents message development

12가지 핵심 유스케이스의 컨텍스트를 분석하고 표현하기 위한 두 가지의 방법을 구성했다. 5W1H를 기반으로 유스케이스의 컨텍스트를 분석했으며, 이를 테스크 플로우로 나타냈다. 컨텍스트를 테스크 플로우 형식으로 분석함으로 개체 간 상호작용을 시각적으로 표현하여 문제점을 찾아내는 것에 효과적이었다. 이후, 테스크 플로우는 연구 결과로 도출한 콘텐츠 메시지 세트를 유스케이스에 적용한 구조를 표현하기 위한 방법으로도 활용했다.

그림 3은 콘텐츠 메시지 세트 개발 프로세스를 나타낸 것으로, 그림과 같은 총 4단계의 과정으로 진행하였다.

Fig. 3.

Process to design a content message set

Phase 1은 12가지 핵심 유스케이스의 컨텍스트를 분석하는 것이다. 이 단계는 인프라 가이던스 정보를 이용자에게 공유하지 않는 상황에서 대상의 반응을 지표로 하여 사용자 중심 메시지를 도출할 수 있다.

Phase 2는 메시지의 유형을 세분화하여 이를 기준으로 각 메시지의 특성에 적합한 콘텐츠 요소를 구성하는 것이다. 메시지의 의도와 특성을 효과적으로 이용자에게 전달할 수 있도록 사용자 인식 체계를 기반으로 콘텐츠 요소를 조합한다. Phase 3은 Phase 1과 Phase 2에서 도출한 결과를 기반으로 콘텐츠 메시지를 개발하는 것이다. Phase 4는 콘텐츠 메시지가 각 유스케이스의 차량별로 적용되는 콘텐츠 메시지 세트를 개발하는 것이다. 차량에 적용된 콘텐츠 메시지 세트의 테스크 플로우를 통해 이용자의 반응이 변화하는 과정을 나타냈다.

Ⅱ. 자율주행 차량 HMI 콘텐츠 메시지 구성

2.1 컨텍스트 기반 메시지 분석

연구의 첫 번째 단계로, 12가지 핵심 유스케이스의 상황 시나리오를 분석하여 컨텍스트에 기반한 메시지를 도출했다.

컨텍스트 분석은 12가지 핵심 유스케이스 중 한 가지 상황의 컨텍스트를 플로우 차트 형식으로 분석하여 해당 유스케이스의 개체 간 상호작용을 통해 이용자에게 필요한 메시지를 알 수 있다.

유스케이스의 컨텍스트를 분석했을 때, 2대 이상의 차량이 혼재하는 상황에서 연속적이 아닌 다발적 사건이 발생한다. 따라서 콘텐츠 메시지가 시간 순서가 아닌 주행 구간에 따라 표출되어야 함을 알 수 있었다[5]. 또한 유스케이스 개체 간 상호작용에 따라 발생하는 이용자의 의문과 불안을 해소할 수 있도록 이용자 반응을 사용자 중심 메시지의 도출 지표로 하였으며, 이를 기반으로 콘텐츠 메시지의 표출 의도를 구체화하였다.

위 분석 결과를 통해 12가지 핵심 유스케이스에서 필요한 메시지를 구간별로 정리한 것이 그림 4이다. 이는 각 구간과 상황에 따라 적용할 수 있는 전체 메시지 14개를 도출하는 데 활용하였다.

Fig. 4.

Deriving messages for section of the use-case

그림 4는 유스케이스 공간의 IG 구간을 4가지 주행 구간(IG 진입/진출 구간, 일반 도로 구간, 교차로 진입/진출 구간, 교차로 구간)으로 세분화하여 공간적 범위에 따른 12가지 핵심 유스케이스의 구간별 메시지를 나타냈다. 세분화된 유스케이스 구간에서 차량이 주행하는 상황 따라 탑승자에게 어떠한 정보의 메시지가 HMI를 통해 표출되어야 하는지 설명하였다.

그림 4에서 도출한 구간별 메시지를 그룹화하고, 각 특성에 맞게 유형을 분류한 것이 그림 5이다.

Fig. 5.

Contents messages and type categorizing

그림과 같이 12가지 핵심 유스케이스의 컨텍스트 분석을 기반으로 메시지 14개를 도출하였다. 도출한 메시지는 특성에 따라 분류하여 3가지 유형으로 정의하였다.

2.2 메시지의 콘텐츠 구성 체계

연구의 두 번째 단계는 이용자가 메시지의 의도와 목적을 효과적으로 이해하기 위해 각 메시지의 콘텐츠 구성을 구체화했다. 그림 6은 그림 5의 메시지 특성에 따라 이용자에게 정보를 효과적으로 전달하기 위해서 정리한 세부 유형 기준이다.

Fig. 6.

Detailed contents message type criteria

위 기준은 그림 5의 3가지 메시지 유형을 기반으로 ‘일반’과 ‘이벤트’로 나눠 총 5개로 세분화한다. 그림 6은 메시지의 표출 목적과 상황을 설명하여 콘텐츠 메시지 개발 기준으로 활용할 수 있다.

메시지의 특성에 따라 콘텐츠를 구성하기 위해 이용자가 인식하는 HMI 요소를 텍스트, 아이콘, 사운드, 이미지로 구성하였다. 사용자 인식 체계 요소의 특성을 활용하여 콘텐츠 메시지의 세부 유형 기준에 따라 적합한 사용자 반응을 유도할 수 있도록 그림 7을 정리했다[6][7].

Fig. 7.

Combining user recognition system elements

인식 체계 요소 조합 정리 결과, 총 5가지의 조합을 도출하여 유형별 콘텐츠 메시지 구성에 활용했다.

그림 8은 콘텐츠 메시지 세부 유형에 따라 5개의 인식 체계 요소 조합을 적용한 14개의 콘텐츠 메시지 구성이다.

Fig. 8.

Contents message components

콘텐츠 메시지 체계를 만드는 과정에서 HMI 디자인 요소를 구체화하기 위해 콘텐츠 메시지 구성 요소를 세분화할 필요가 있었다. 따라서 아이콘을 ‘진로’, ‘안전’, ‘속도’로, 사운드를 ‘음성’과 ‘효과음’으로 나누어 세분화해 정리했다. 그림 8를 통한 콘텐츠 메시지 구성은 HMI 디자인 요소를 구체화하는 데 활용했다.

2.3 콘텐츠 메시지 구성 요소

연구의 세 번째 단계에서는 12가지 핵심 유스케이스 주행 상황에서 HMI에 표출되는 콘텐츠 메시지 디자인 요소를 구체화했다. 그림 9은 HMI 디자인 요소를 구체화하여 개발한 콘텐츠 메시지를 구간별로 정리한 표이다.

Fig. 9.

Contents message structuring by segments

그림 9에서 도출된 콘텐츠 메시지는 A구간 2개, B구간 4개, C구간 6개, D구간 1개, B~D구간 1개로 총 14개이다. HMI에 표출되어야 하는 콘텐츠 메시지 내용과 표출 방식을 도출했으며, 메시지가 나타나는 A, B, C, D 구간에 맞춰 체계화하였다.

B~D구간에 속한 M 14는 상시 표출 메시지이다. M 14는 인프라와 연결되어 안전하게 협력 주행을 하고 있음을 나타내는 메시지로, 각 구간에 속한 M 01~M 13의 콘텐츠 메시지보다 메시지 표출 우선 순위가 낮다. 따라서 M 14는 M 01~M 13이 표출되지 않는 콘텐츠 메시지 공백 상황에서 나타나도록 했다. 이와 같이 콘텐츠 메시지 개발 과정에서 메시지가 표출되는 방식을 달리하여 개발하였다.

그림 9의 14개 콘텐츠 메시지 구성 요소 표는 각 구간과 상황에 따라 표출되는 구조이다. 콘텐츠 메시지 구성은 12가지 핵심 유스케이스에 적용하여 상황별 차량 표출 메시지를 정리하기 위해 활용했다.

Ⅲ. 콘텐츠 메시지 세트 개발

네 번째 단계에서는 위 과정들을 통해 개발한 컨텍스트 기반 콘텐츠 메시지를 12가지 핵심 유스케이스에 적용해 콘텐츠 메시지 세트를 개발하였다.

그림 10은 콘텐츠 메시지 14개가 각 유스케이스의 차량에 적용되는 여부를 표시한 표다.

Fig. 10.

Table of contents messages applied to each vehicle in the use-case

콘텐츠 메시지 세트는 각 상황의 차량별로 표출되어야 하는 콘텐츠 메시지 그룹을 의미한다. 유스케이스의 차량별 콘텐츠 메시지 적용 여부를 정리한 결과, 총 27개의 콘텐츠 메시지 세트를 도출할 수 있었다. 위 적용 표는 12가지 핵심 유스케이스 상황에 대한 자율주행 차량 이용자를 위한 HMI 콘텐츠 표출에 대한 가이드라인으로 활용할 수 있을 것으로 기대한다.

그림 11은 콘텐츠 메시지가 유스케이스에 적용되는 구조를 시각적으로 표현한 태스크 플로우[8]이다. 아래의 예시는 CAV의 비신호교차로 회전 대기 행렬 회피 상황(U2-3)을 표본으로 했다.

Fig. 11.

Example of task flow in a use-case with applied contents message set

그림 11은 그림 10의 M.set 14가 적용된 상황을 예시로 IG 서비스와 CAV, 이용자가 상호작용하는 작업을 시각화했다. 이를 통해 동일한 콘텐츠 메시지 구성이라도 IG 서비스와 CAV 간 상호작용 의도 및 탑승자 반응에 따라 표출 순서와 횟수가 달라짐을 알 수 있다. 따라서 그림 11에서 동일한 콘텐츠 메시지를 서로 다른 메시지 세트(M.set)로 정의한 이유를 설명할 수 있다.

Ⅳ. 결론 및 향후 과제

완전 자율주행 차량이 상용화되기 위해서 주행 컨텍스트를 고려한 사용자 중심 HMI 콘텐츠가 필요하다. 따라서 자율주행 상황의 차량과 차량, 차량과 인프라 등 외부에서 전달되는 기계적 언어 기반 정보를 사용자 중심적 언어로 해독하고, 쉽게 전달할 수 있는 콘텐츠 메시지로 재가공하는 개발 체계를 도출했다.

연구는 다음과 같은 과정을 통해 진행했다. 12가지 핵심 유스케이스 분석을 기반한 일반 및 돌발 상황에 따른 14개의 메시지를 도출하고 5가지 상황별 세부 유형으로 분류했다. 각 메시지의 유형에 맞추어 콘텐츠 구성을 정의했으며, 구성에 대한 표출 내용과 방식을 정리한 콘텐츠 메시지를 도출했다. 위 과정을 통해 도출된 콘텐츠 메시지는 각 유스케이스의 차량에 따라 적용되는 여부를 작성한 표로 27개의 메시지 세트를 제시하였다. 연구를 진행하며 자율주행 차량 혼재 상황에서 이용자의 감정에 따라 필요한 정보를 분석할 수 있는 컨텍스트 분석법을 제시하였다. 컨텍스트 분석법을 기반한 사용자 중심 콘텐츠 메시지 개발 결과, 이용자 반응 변화를 설명하는 데 유용한 태스크 플로우라는 특징적인 연구 결과를 도출할 수 있었다. 콘텐츠 메시지를 개발하는 전체 체계는 유스케이스가 확장되거나 세분화되는 상황에서 차량 HMI 디자인 요소를 개발할 때 활용할 수 있다.

또한, 결과물의 한계를 보완하기 위해 추가 연구를 진행할 예정이다. 첫째, 12가지 핵심 유스케이스 범위 이상의 상황에서 요구되는 CAV와 CHV의 HMI 디자인에 대한 연구가 필요함을 알 수 있었다. 즉, 향후 연구에서는 HMI 디자인 요소의 다양성과 활용성을 고려해 대상에 따른 HMI 디자인 연구 확장성을 적용할 필요가 있다. 둘째, 연구를 통해 도출한 User feeling score의 가설 및 콘텐츠 메시지 세트의 적합성에 대한 검증이 요구된다. 사용자의 시선을 추적하는 아이트래커(Eye-tracker) 장비를 활용하여 콘텐츠 메시지가 표출되었을 때 사용자의 인지 정도를 연구할 계획이다. 콘텐츠 메시지를 적용한 자율주행 HMI의 GUI 사용성 평가는 후속 연구로 진행되어 보완될 예정이다. 셋째, 현 연구의 콘텐츠 메시지는 와이드 디스플레이(12.3inch)를 기준으로 개발했으며, 플랫폼에 따른 확장성을 후속 연구할 계획이다.

Acknowledgments

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었습니다(과제번호 RS-2022-00142565)

References

• S. H. Oh and T. K. Yoon, "A Policy Plan for Advanced Road Infrastructure in the Era of Self-Driving", Krihs Policy Brief, No. 637, pp. 1-6, Nov. 2017.
• H. M. Jeon, I. C. Yang, H. S. Kim, J. H. Lee, S. K. Kim, and J. Y. Jang, "A study on methodology to develop use cases of infra-guidance service for connected and automated driving", Journal of Digital Contents Society, Vol. 23, No. 7, pp. 1331-1340, Jul. 2022. [https://doi.org/10.9728/dcs.2022.23.7.1331]
• M. B. Rosson, and J. M. Carroll, "The human-computer interaction handbook", L. Erlbaum Associates Inc., pp. 1032-1050, Jan. 2002. [https://doi.org/10.1201/b11963-ch-48]
• S. G. Min, "Study on the UX Design Utilization Plans Based on Context by Personalization of Smart Service", doctoral dissertation, Hanyang University, pp. 39-56, Feb. 2019.
• G. R. Kim and W. K. Kim, "Future Context Scenarios for User-centered Advanced Design", Archives of Design Research, Vol. 33, No. 1, pp. 93-111, Dec. 2019. [https://doi.org/10.15187/adr.2020.02.33.1.93]
• M. J. Kim, "ITS: Image-2-Text-2-Sound Translating Images into Sensory Language", Spring Conference Ergonomics Society of Korea, pp. 305-312, Aug. 2006.
• S. W. Wang, J. E. Park, and K. T. Jung, "Study on guideline for mobile phone GUI", Extra Archive, No. 7, pp. 182-194, May 2023.
• P. A. Akiki, "Generating contextual help for user interfaces from software requirements", The Institution of Engineering and Technology, Vol. 13, pp. 75-85, Feb. 2019. [https://doi.org/10.1049/iet-sen.2018.5163]