객체 검출과 생성형 언어모델을 결합한 상호작용 기반 그림 심리분석 시스템의 설계 및 구현

I. 서 론

현대 사회에서 정신 건강 문제는 정서적 고통, 인지 저하, 대인관계 어려움 등 다양한 형태로 나타나며, 이를 조기에 파악하고 지원하는 것이 중요한 과제로 대두되고 있다[1]. 현재 주요 심리 지원 방법으로 약물 치료와 언어 중심의 심리상담이 활용되고 있으나, 자신의 감정을 언어로 명확히 표현하는 데 어려움을 겪는 사람들에게는 기존 방식의 효과가 제한적일 수 있다는 한계가 지적된다. 미술치료는 그림과 같은 시각적 표현을 통해 감정을 비언어적으로 드러내고 정서적 안정을 지원하는 기법으로, 다양한 정서적 어려움을 겪는 사람들의 감정 표현과 심리적 안정에 긍정적인 효과가 보고되고 있다[2].

최근에는 생성형 인공지능(Generative AI)을 활용한 디지털 심리 지원 기술이 주목받고 있다[3][4]. 본 연구에서는 객체 검출 모델인 YOLOv8[5]을 이용하여 그림에서 주요 객체를 검출하고, 객체 검출 결과와 사용자 입력을 생성형 언어모델인 GPT-4o-mini[6]에 반영함으로써 개인화된 상호작용이 가능한 상담 피드백 생성 방식을 제안한다.

이러한 접근을 바탕으로 그림 기반 객체 검출과 생성형 인공지능을 결합한 상호작용 기반 심리분석 시스템을 구현하였으며, 주요 기여는 다음과 같다. 첫째, 객체 검출 결과를 반영한 공감형 상담 피드백 생성 방식을 제안하였다. 둘째, 그림 분석·생성형 AI 상담·PDF 보고서 생성을 하나의 시스템으로 통합하여 디지털 심리분석 및 미술치료 지원 도구로서의 활용 가능성을 제시하였다.

II. 선행 연구

본 장에서는 미술치료의 효과와 한계, 이를 인공지능으로 분석하려는 기존 연구들을 살펴보고, 본 연구가 갖는 차별점을 제시한다.

특히 미술치료는 서론에서 언급한 정서적 효과 중에서도 우울증 환자의 감정 표현과 정서 회복에 긍정적인 영향을 미치는 것으로 보고되었다[2].

투사적 그림 검사를 인공지능으로 분석하려는 시도도 활발히 이루어지고 있다. 대표적으로 집-나무-사람 검사(HTP, House-Tree-Person)는 그림을 통해 무의식적 정서와 성격 특성을 파악하는 투사 기법으로, 채점과 해석이 검사자의 주관적 경험에 크게 의존한다는 한계가 지적되어 왔다[7]. 이를 보완하기 위해 나무 그림의 특징 기반 자살 사고 탐지[8], 해석 가능한 분류 모델 설계[9], 멀티모달 대형언어모델과 다중 에이전트 협업 기반 HTP 평가 프레임워크[10] 등 딥러닝 기반 자동 분석 연구가 다수 제안되었으나, 대부분 그림 전체의 전역적 특징 분류나 요소 존재 유무 판별에 초점을 두고 있어, 객체 검출 결과를 생성형 언어모델의 상담 생성 과정과 연계하는 본 연구의 접근과는 차이가 있다.

한편, 상담 피드백의 품질을 높이기 위해 프롬프트 파이프라인도 개선하였는데 특히 GPT 계열 대형 언어모델을 활용한 공감형 상담 연구가 활발하다. ChatGPT가 의료 상담 맥락에서 부분적으로 공감 반응을 생성할 수 있음을 확인한 체계적 문헌고찰[11]과 국내 한국인 사용자 대상 ChatGPT-4 기반 정신건강 챗봇 평가 연구[12]가 대표적이다.

그러나 이러한 연구들은 대부분 텍스트 기반 대화만을 입력으로 활용하여, 그림과 같은 비언어적 표현을 반영한 맞춤형 상담에는 한계가 있다.

이처럼 기존 HTP 분석 연구와 GPT 기반 상담 챗봇 연구가 각각 그림 또는 텍스트 입력만을 다루는 것과 달리, 본 연구는 객체 검출 결과와 사용자의 텍스트 입력을 함께 GPT-4o-mini에 반영하고, 이를 PDF 보고서 자동화까지 하나의 시스템으로 통합했다는 점에서 차별화된다. 구체적인 모듈 구성과 동작 방식은 III장에서 설명한다.

III. 제안하는 시스템

본 연구의 상호작용 기반 심리분석 시스템은 그림 1과 같이 인터페이스, 객체 검출, 심리 해석, 보고서 생성의 네 가지 모듈로 구성되며, 사용자 입력부터 상담 결과 생성까지 순차적으로 동작한다.

Fig. 1.

Flowchart of proposed system modules

인터페이스 모듈은 Gradio 기반 웹 플랫폼으로 구현하여 사용자로부터 그림과 상담 내용을 입력받는다. 객체 검출 모듈은 YOLOv8[5]을 이용해 그림 속 주요 객체를 검출하고, 검출 결과의 존재 여부를 확인한다. 검출 결과는 객체 검출 성공 여부로 요약되어 사용자 입력(현재의 감정과 상황)과 함께 GPT-4o-mini에 전달된다. GPT-4o-mini는 해당 검출 결과와 사용자가 입력한 상담 내용을 바탕으로 공감형 상담 피드백을 생성한다.

현재 구현에서는 GPT-4o-mini에 객체의 세부적인 클래스별 위치, 크기 및 객체 간 공간적 관계를 직접 전달하지 않고, 객체 검출의 성공 여부를 상담 생성에 활용한다. 따라서 현재 시스템은 그림 속 객체의 공간적 배치 자체를 심층적으로 분석하는 구조에는 한계가 있다. 향후에는 YOLOv8에서 출력되는 클래스, bounding box 좌표, 객체 크기 및 객체 간 상대적 위치 등의 정보를 구조화하여 GPT-4o-mini의 입력으로 확장함으로써 그림의 시각적 맥락을 보다 구체적으로 반영할 계획이다. 심리 해석 모듈은 GPT-4o-mini를 이용하여 두 정보를 기반으로 공감형 상담 피드백을 생성한다. 프롬프트는 의료적 진단이나 치료를 단정적으로 제시하지 않고 공감과 정서적 지지를 중심으로 응답하도록 설계하였다. 또한 시스템에 입력된 그림과 상담 내용은 공감형 피드백 생성을 위해 GPT-4o-mini API로 외부 전송되므로, 실제 서비스 적용 시에는 개인정보 및 민감정보 처리에 대한 별도의 보호 조치가 필요하다.

보고서 생성 모듈은 FPDF 라이브러리로 분석 결과와 상담 내용을 PDF 보고서로 문서화하여 치료 과정의 참고 자료로 활용할 수 있게 한다.

제안하는 시스템의 객체 검출 모델을 구현하기 위해 학습용 데이터셋을 구축하였다. 본 연구에서는 HTP(House-Tree-Person) 및 그림 기반 심리분석 과정에서 분석 대상으로 활용되는 시각적 요소를 중심으로 총 33개 객체 클래스를 정의하였다. 구체적인 클래스 구성은 표 1과 같으며, 각 클래스마다 10,000장의 합성 이미지를 생성하여 총 330,000장의 데이터를 구축하였다. 각 이미지는 하나의 객체를 중앙에 배치하고 색상을 무작위로 변경하였으며, 데이터 라벨링은 YOLO 포맷(class, x_center, y_center, width, height)을 사용하였다.

Table 1.

Class composition of the object detection model

본 연구에서는 실제 사람이 그린 그림 대신 합성 데이터를 활용하여 객체 검출 학습 데이터를 구축하였다. 이는 초기 시스템 개발 단계에서 33개 객체 클래스에 대해 충분한 양의 학습 데이터를 확보하고, 객체의 위치와 형태를 일정한 조건에서 통제하면서 데이터셋을 구성하기 위한 목적이다. 실제 그림 데이터를 대규모로 수집할 경우 사용자별 그림 표현 방식과 객체의 크기, 위치 및 형태가 다양하게 나타날 수 있으며, 객체 영역에 대한 일관된 라벨링에도 상당한 작업이 요구된다. 이에 본 연구에서는 클래스별 동일한 규모의 합성 데이터를 생성하여 학습 데이터의 구성과 라벨링을 일정하게 유지하였다.

합성 데이터 기반 학습의 장점은 클래스별 데이터를 균등하게 확보할 수 있고, 객체의 위치와 색상 등의 조건을 통제하면서 반복적으로 데이터를 생성할 수 있다는 점이다. 또한 실제 사용자 그림을 직접 수집하지 않으므로 초기 데이터 구축 과정에서 발생할 수 있는 개인정보 및 민감정보 처리 부담을 줄일 수 있다. 반면, 합성 데이터는 실제 사람이 그린 그림에서 나타나는 비정형적인 선 표현, 객체 간 중첩, 다양한 크기와 위치, 복합적인 배치 등의 특성을 충분히 반영하지 못할 수 있다. 특히 본 연구의 데이터셋은 하나의 객체를 중앙에 배치한 단일 객체 중심의 합성 이미지로 구성되어 있으므로, 실제 사용자 그림에서 동일한 객체 검출 성능이 유지된다고 보장하기 어렵다. 따라서 본 연구의 객체 검출 성능은 합성 학습 데이터에 대한 성능으로 해석할 필요가 있으며, 실제 사람이 그린 그림을 대상으로 한 독립적인 검증을 통해 일반화 성능을 추가적으로 확인할 필요가 있다.

그림 2는 Gradio 기반으로 구현된 사용자 인터페이스 화면을 나타낸다. 사용자는 상단의 업로드 영역에 그림을 올리고 그 아래 입력창에 상담 내용을 작성한 뒤 '상담하기' 버튼을 누르며, 이에 따라 생성된 공감형 상담 피드백은 하단의 결과 창에 표시된다.

Fig. 2.

User interface view

그림 3은 제안한 시스템의 구현 흐름도이다. 사용자가 그림과 상담 내용을 입력하면 YOLOv8이 그림의 주요 객체를 검출하고, 객체 검출 결과와 사용자가 입력한 상담 내용을 함께 활용하여 GPT-4o-mini가 공감형 상담 피드백을 생성한다. 생성된 결과는 PDF 보고서로 저장되어 상담 기록과 사후 분석 자료로 활용된다.

Fig. 3.

Implementation flowchart of proposed system

V. 실 험

본 심리분석 시스템은 실제 임상 환경에 앞서 시스템의 전반적인 동작 가능성을 확인하기 위해 객체 검출 모델의 성능과 생성형 AI 기반 상담 피드백 생성 과정을 중심으로 평가하였다.

객체 검출 모델 학습에는 III장에서 기술한 데이터셋을 사용하였다. 본 실험에서는 별도의 held-out 검증 세트 대신 학습 세트를 검증에 활용하였는데, 이는 초기 개발 단계에서 파이프라인 전반의 동작 여부를 빠르게 확인하기 위한 목적에서 채택한 방식이다. 다만 이러한 방식은 모델이 이미 학습한 데이터를 다시 평가에 사용한다는 점에서, 본문에 제시된 mAP50 ≈ 0.92, mAP50-95 ≈ 0.78은 미학습 데이터에 대한 일반화 성능이 아니라 학습 데이터에 대한 모델의 적합(fit) 성능을 나타내는 수치로 해석되어야 한다. 미학습 데이터에 대한 실질적인 일반화 성능은 별도의 독립적인 검증 세트를 구성하여 후속 연구에서 확인할 예정이다.

학습은 YOLOv8n을 사전 가중치(Pretrained weight)로 하여 50에폭씩 총 100단계에 걸쳐 총 5,000에폭 규모로 다단계 resume 방식의 누적 학습을 진행하였다. 이는 대규모 합성 데이터셋(330,000장)을 한 번에 학습하기보다 단계적으로 나누어 학습 경과를 점검하며 진행하기 위한 방식이었다. 학습 안정성을 확보하기 위해 SGD 옵티마이저와 cosine learning rate 스케줄링, warm-up 구간을 적용하였다. 학습 결과는 표 2와 같이 box loss 0.38, classification loss 0.28, distribution focal loss 0.81, mAP50 0.92, mAP50-95 0.78로 나타났다.

Table 2.

Training results of the object detection model

객체 검출 성능은 표 1에 제시된 총 33개 클래스에 대해 평가하였다. 전체 성능은 mAP50 약 0.92, mAP50-95 약 0.78로 나타났으나, 클래스별 검출 성능에는 차이가 존재하였다. 사람·집·나무와 같이 형태와 윤곽이 비교적 뚜렷한 클래스는 상대적으로 높은 검출 성능을 보인 반면, 그림자(Shadow)나 지면선(Ground_line)과 같이 경계가 모호하고 다른 객체와 시각적으로 혼동되기 쉬운 클래스는 상대적으로 낮은 검출 성능을 보였다. 이는 해당 클래스들이 뚜렷한 윤곽선 대신 명암이나 배치 맥락으로 구분되는 특성이 있어, 합성 데이터 생성 과정에서 다른 클래스와의 시각적 차별성이 충분히 확보되지 못했기 때문으로 판단된다. 특히 본 연구의 학습 데이터는 클래스별 단일 객체를 중앙에 배치한 합성 이미지로 구성되어 있으므로, 실제 사용자가 작성한 그림에서 나타나는 다중 객체 배치, 객체 간 중첩, 비정형적인 크기와 위치, 자유로운 선 형태 등의 시각적 변형에 대해서는 동일한 검출 성능이 보장되지 않는다. 따라서 본 연구에서 보고한 객체 검출 성능은 합성 학습 데이터에 대한 적합 수준으로 해석할 필요가 있으며, 실제 그림을 대상으로 한 독립적인 검증을 통해 일반화 성능을 추가적으로 확인할 필요가 있다.

아울러 상담 피드백 생성 과정에서 YOLOv8의 객체 검출 결과와 사용자의 상담 입력을 함께 활용하도록 프롬프트를 구성하였다. 현재 구현에서는 객체 검출 결과를 세부 객체 정보로 확장하지 않고 검출 성공 여부로 요약하여 GPT-4o-mini에 전달하며, 사용자가 입력한 상담 내용과 함께 단일 요청으로 구성한다. 이에 따라 GPT-4o-mini는 그림 분석 과정에서 객체 검출이 정상적으로 수행되었는지와 사용자가 제공한 현재의 감정 및 상황 정보를 참고하여 공감형 상담 피드백을 생성한다.

상담 피드백 생성에 사용되는 프롬프트는 응답 방향과 입력 정보의 구체화를 위해 단계적으로 설계하였다. 초기에는 GPT-4o-mini에 상담자의 역할과 사용자 입력을 제공하였으며, 이후 공감적 표현과 질문 생성을 명시하고 객체 검출 결과를 추가하는 방식으로 프롬프트를 확장하였다. 최종 프롬프트에서는 객체 검출 결과와 사용자의 상담 내용을 함께 제공하고, 공감적이고 비진단적인 상담 피드백을 생성하도록 역할과 응답 형식을 구체적으로 지정하였다. 각 단계별 프롬프트의 주요 구성과 특징은 표 3에 제시하였다.

Table 3.

GPT prompt design stages

한편 현재 시스템의 객체 검출 정보는 성공 여부 중심으로 활용되므로, 객체의 정확한 위치, 크기 및 객체 간 관계가 상담 피드백에 직접적으로 반영되는 것은 아니다. 따라서 향후 연구에서는 이러한 공간적 정보를 구조화하여 GPT 프롬프트에 추가함으로써 그림의 시각적 맥락을 보다 세밀하게 반영할 필요가 있다. 그림 4는 객체 검출 성공 여부와 사용자의 상담 입력을 바탕으로 GPT-4o-mini가 생성한 공감형 상담 피드백을 PDF로 문서화한 그림 분석 리포트의 예를 나타낸다. 리포트에는 분석 시각, 객체 검출 성공 여부, 생성된 상담 피드백 및 입력 그림이 포함된다. 상담 피드백은 사용자가 그림을 그리는 과정에서 느낀 감정과 그림에 담긴 의미를 표현할 수 있도록 공감적 문장과 질문으로 구성된다.

Fig. 4.

Example of picture analysis report generated by GPT-4o-mini

V. 결 론

본 연구에서는 YOLOv8 기반 객체 검출과 GPT-4o-mini 기반 공감형 상담 피드백을 결합한 상호작용 기반 심리분석 시스템을 구현하였다. 객체 검출 결과와 사용자의 상담 입력을 단일 프롬프트로 결합하여 검출 성공 여부와 사용자 입력을 기반으로 공감형 피드백을 생성하고, 이를 PDF 보고서로 자동 문서화하는 시스템을 구현하였다. 이를 통해 디지털 미술치료 적용 가능성을 제시하였다.

다만 본 연구의 객체 검출 모델은 하나의 객체를 중앙에 배치한 합성 이미지로 학습되어, 여러 객체가 함께 그려지는 실제 그림에서도 동일한 성능이 유지되는지는 별도의 검증이 필요하다. 또한 현재 시스템은 객체 검출 결과를 검출 성공 여부 중심으로 GPT-4o-mini에 전달하므로, 객체의 위치, 크기 및 객체 간 관계와 같은 세부적인 공간 정보가 상담 피드백에 직접적으로 반영되는 데에는 한계가 있다. 향후 연구에서는 실제 그림을 대상으로 한 독립적인 검증과 함께 YOLOv8에서 검출된 객체의 클래스, 위치, 크기 및 객체 간 관계를 구조화하여 GPT 기반 상담에 직접 활용하는 방식을 연구할 계획이다. 또한 다중 모달 감정 분석과 검출 성능이 낮은 클래스에 대한 다중 객체 해석 정확도 개선 및 GPT 기반 상담 피드백의 후처리 기법을 연구할 예정이다.

Acknowledgments

본 연구는 2026년 경기대학교 대학원 연구원장학생 장학금 지원에 의하여 수행되었음. 이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원-학·석사연계ICT핵심인재양성사업의 지원을 받아 수행된 연구임(IITP-2024-00436954). 또한 이 논문은 2024년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. RS-2020-NR049579)

References

• World Health Organization, "Depression and Other Common Mental Disorders: Global Health Estimates", World Health Organization, pp. 1-24, Apr. 2017.
• B. Han, et al., "The Effects of Visual Art Therapy on Adults with Depressive Symptoms: A Systematic Review and Meta-Analysis", International Journal of Mental Health Nursing, Vol. 33, No. 5, pp. 1183-1196, Oct. 2024. [https://doi.org/10.1111/inm.13331]
• A. N. Vaidyam, H. Wisniewski, J. D. Halamka, M. S. Kashavan, and J. B. Torous, "Chatbots and Conversational Agents in Mental Health: A Review of the Psychiatric Landscape", Canadian Journal of Psychiatry, Vol. 64, No. 7, pp. 456-464, Jul. 2019. [https://doi.org/10.1177/0706743719828977]
• A. Wiebe, K. Kannen, B. Selaskowski, A. Mehren, and A.-K. Thöne, "Virtual Reality in the Diagnostic and Therapy for Mental Disorders: A Systematic Review", Clinical Psychology Review, Vol. 98, pp. 1-15, Dec. 2022. [https://doi.org/10.1016/j.cpr.2022.102213]
• Ultralytics, "YOLO Documentation", https://docs.ultralytics.com/, . [accessed: Jan. 2026]
• OpenAI, "GPT-4o mini: Advancing Cost-Efficient Intelligence", OpenAI Blog, Jul. 2024. https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/, . [accessed: Jan. 2026]
• H. Guo, B. Feng, Y. Ma, X. Zhang, H. Fan, Z. Dong, T. Chen, and Q. Gong, "Analysis of the Screening and Predicting Characteristics of the House-Tree-Person Drawing Test for Mental Disorders: A Systematic Review and Meta-Analysis", Frontiers in Psychiatry, Vol. 13, pp. 1-14, Jan. 2023. [https://doi.org/10.3389/fpsyt.2022.1041770]
• T. Pan, X. Zhao, B. Liu, and W. Liu, "Automated Drawing Psychoanalysis via House-Tree-Person Test", 2022 IEEE 34th International Conference on Tools with Artificial Intelligence (ICTAI), Macao, China, pp. 1-6, Oct.-Nov. 2022. [https://doi.org/10.1109/ICTAI56018.2022.00171]
• Y. Xie, T. Pan, B. Liu, H. Chen, and W. Liu, "Interpretable Drawing Psychoanalysis via House-Tree-Person Test", Proc. AI 2023: Australasian Joint Conf. on Artificial Intelligence, pp. 1-13, Nov. 2023. [https://doi.org/10.1007/978-981-99-8391-9_18]
• S. Wen, Y. Sun, B. Ku, Z. Gao, L. Ma, Y. Yang, and C. Jiao, "From Visual Perception to Deep Empathy: An Automated Assessment Framework for House-Tree-Person Drawings Using Multimodal LLMs and Multi-Agent Collaboration", arXiv preprint, arXiv:2512.21360, , Dec. 2025. [https://doi.org/10.48550/arXiv.2512.21360]
• V. Sorin, D. Brin, Y. Barash, E. Konen, A. Charney, G. Nadkarni, and E. Klang, "Large Language Models and Empathy: Systematic Review", Journal of Medical Internet Research, Vol. 26, pp. 1-12, Dec. 2024. [https://doi.org/10.2196/52597]
• B. Kang and M. Hong, "Development and Evaluation of a Mental Health Chatbot Using ChatGPT 4.0: Mixed Methods User Experience Study With Korean Users", JMIR Medical Informatics, Vol. 13, pp. 1-15, Jan. 2025. [https://doi.org/10.2196/63538]