Skybox AI를 이용한 파노라마 기반 가상 면접 공간 설계와 활용 가능성에 관한 연구

Ⅰ. 서 론

디지털 전환의 가속화는 가상현실, 증강현실, 그리고 메타버스와 같은 기술의 도입을 촉진하고 있다[1]. 특히, 메타버스는 교육, 게임, 소셜 네트워크와 같은 다양한 분야에서 중요한 플랫폼으로 자리 잡고 있다[2][3]. 그중에서도 메타버스 기반의 가상 면접 서비스는 시간과 공간의 제약을 최소화하며 효율적인 인재 검증 수단으로 주목받고 있다. 많은 기업들이 가상 면접 서비스를 개발 중이며, 실제 면접과 유사한 경험을 제공하기 위해 메타버스 환경에서 현실감을 증대시키는 방안을 연구하고 있다[4].

가상 면접에서 현실감을 제공하기 위해서는 다양한 요소가 고려되어야 한다. 면접관의 음성, 동작, 그리고 상호작용 기능의 구현은 당연히 중요한 요소로, 지원자와 면접관 간의 상호작용 품질을 결정짓는다[5]. 그러나 이러한 기술적 요소 못지않게 중요한 것은 면접이 이루어지는 면접 공간이다. 현실감을 극대화하기 위해 면접 공간은 실제 사무실과 유사한 형태와 분위기를 가져야 하며, 조명, 가구 배치, 공간의 구조 등이 면접자의 몰입감을 좌우한다. 전통적인 방식으로 가상 면접 공간을 제작하려면 고품질의 3D 모델링 기술과 디자인 리소스가 필요하며, 이는 상당한 시간과 비용을 요구한다. 이러한 기술적, 경제적 한계는 가상 면접 서비스의 대중화와 확산에 걸림돌로 작용해왔다. 이와 같은 한계를 극복하기 위해 생성형 AI(Generative AI) 기술이 새로운 대안으로 부상하고 있다. 생성형 AI는 사용자의 입력 프롬프트를 기반으로 이미지, 텍스트 등을 생성하는 기술로, 대규모 사전 학습 데이터를 활용해 창의적이고 현실감 있는 결과를 제공할 수 있다. 특히, 최근 몇 년간 생성형 AI는 이미지 생성 도구와 텍스트 기반 대화형 AI 등 다양한 분야에서 놀라운 성과를 보여주었다[6]. 이러한 기술적 진보를 메타버스 환경의 공간 구성에 접목하면, 기존의 고비용 구조를 대체하면서도 현실감 있는 가상 공간을 효율적으로 제작할 수 있다.

현실감 있는 면접 공간 설계는 단순히 시각적 요소를 뛰어넘어, 공간의 분위기, 몰입감, 기능성 등을 포함해야 한다. 실제 면접장에서 제공되는 경험을 가상으로 재현하기 위해서는 공간의 형태와 구성을 자연스럽게 구현해야 하며, 가상 면접과 같은 응용 분야에서도 적합할 수 있다. 하지만, 완벽한 3D 공간을 생성하기 위해 필요한 고난도 기술은 아직도 현실적인 제약이 많다. 고품질의 3D 모델을 제작하려면 숙련된 디자이너와 개발자의 협력이 필요하며, 생성형 AI 또한 완전한 3D 형태를 자동으로 생성하는 데 한계를 보이고 있다. 이에 따라 Equirectangular 매핑과 같은 기술을 활용한 파노라마 영상 기반 접근법을 채택하여 현실적인 면접 공간을 생성할 수 있다[7]. 이는 생성형 AI의 현재 기술 수준에서 구현 가능한 최적의 방법으로, 시간과 비용 측면에서도 효율적인 대안이 된다. 하지만, 파노라마 생성 기술의 경우 사용자가 몰입감을 느끼기 힘든 결과를 생성한다[8].

최근, 인공지능을 이용한 많은 서비스를 제공하고 있으며[9], 생성형 AI 서비스 중 하나인 Skybox AI[10]는 Blockade Lab에서 개발한 파노라마 기반 이미지 생성을 전문으로 하는 웹 플랫폼으로, 사용자가 텍스트 프롬프트를 입력하면 이를 기반으로 360도 파노라마 이미지를 생성하는 생성형 AI 도구이다. 이 도구는 게임 개발, 가상현실(VR), 증강현실(AR) 등 다양한 분야에서 몰입형 가상 환경을 제작하는 데 활용되고 있다. Skybox AI의 주요 기능으로는 텍스트 기반 이미지 생성, 스타일 리믹스 기능, 생성된 환경을 수정할 수 있는 편집 도구가 포함된다. 사용자는 원하는 환경을 설명하는 간단한 텍스트 프롬프트만으로도 고품질의 공간을 제작할 수 있으며, 이를 다양한 스타일로 변환하거나 수정하여 맞춤형 환경을 구축할 수 있다. 8K 해상도를 지원하며, 더욱 세밀하고 현실감 넘치는 이미지를 제공한다. 이 기술은 사용자의 텍스트 기반 프롬프트를 활용하여 현실감 있는 8K 화질의 가상 공간을 제작할 수 있다. Skybox AI는 사용자는 간단한 프롬프트를 입력하여 다양한 환경과 스타일의 파노라마 이미지를 생성할 수 있다. 이러한 도구를 활용하면, 기존의 고정된 템플릿 기반 가상 면접 공간 설계를 뛰어넘어, 다양한 면접 상황에 적합한 맞춤형 공간을 효율적으로 제작할 수 있다.

본 논문에서는 Skybox AI[10]를 활용하여 파노라마 기반 가상 면접 공간을 설계하고, 생성된 공간의 구성 요소와 몰입감을 분석한다. Skybox AI를 활용한 파노라마 기반 가상 면접 공간 설계와 분석에 초점을 맞추며, 이를 통해 현실감 있는 면접 공간 생성을 위한 최적의 프롬프트 설계 방법론 제안하고 Skybox AI로 생성된 면접 공간의 몰입감, 기능성, 활용 가능성에 대하여 평가한다. 그리고 파노라마 기술을 통한 현실감 있는 면접 공간 구현 가능성과 한계 도출한다. 이를 통해 현실감 있고 몰입감 있는 면접 환경 구현에 기여하고자 한다.

2절에서는 제안하는 프롬프트를 통해 영상을 생성하고 시각적 요소 등을 포함하여 한계점을 분석한다. 3절에서는 활용 가능성에 대해 분석하고, 4절에서는 결론과 향후 연구에 대해 소개한다.

Ⅱ. 가상 면접 공간 생성을 위한 프롬프트 설계 및 결과 분석

가상 면접 공간을 설계하기 위한 프롬프트는 면접이라는 목적에 부합하면서도 현실감과 몰입감을 동시에 전달해야 한다. 이를 위해 공간의 분위기, 기능적 요소, 구조적 디테일 등을 구체적으로 묘사하며, 프롬프트는 다양한 구성 요소와 그 특성을 상세히 설명해야 한다.

2.2 분석 결과

가상 면접 공간 설계의 목적은 현실감 있고 몰입감 있는 환경을 제공하여 면접 대상자가 실제와 같은 경험을 할 수 있도록 돕는 것이다. 이를 위해 설계 시 출입문, 벽면, 책상과 의자, 창문 등의 구성 요소가 필수적이다. 특히, 출입문은 공간의 기능성을 보장하며, 벽면은 4개일 때 가장 자연스러운 구조를 제공한다. 또한, 면접을 위한 책상과 의자는 필수적인 가구이며, 창문은 자연광과 외부 경관을 통해 공간의 개방성과 현실감을 더하는 중요한 요소이다. 이와 같은 필수 요소를 바탕으로 본 논문에서는 키워드를 통해 GPT-4o[11]를 활용하여 특정한 공간을 생성하기 위한 프롬프트를 추천받아, 이 중 6개(#1~#6)를 채택하여 실험을 진행하였으며, 사용된 프롬프트는 표 1에 제시하였다. 이를 통해 총 254장의 파노라마 영상을 생성하였으며, 그림 1은 대표적으로 #2 프롬프트를 통해 생성한 파노라마 전체 사진과 전면 뷰에 대하여, 가장 적합한 결과를 선별한 것이다.

Table 1.

Examples of used prompt in this paper

Fig. 1.

Examples of generated panoramic image and front view of interview spaces using skybox AI

각 프롬프트의 자연스러움을 평가하기 위해 본 연구는 4가지 평가 기준을 선정하였다. 평가 기준은 (1) 방 벽면의 개수, (2) 문의 존재 유무(0: 없음, 1: 있음), (3) 창문의 존재 유무(0: 없음, 1: 있음), (4) 책상과 의자의 존재 유무(0: 없음, 1: 있음)이다. 이평가 기준은 공간을 구성할 때 필요한 최소의 내용만을 선정하였다. 프롬프트에서 각 구성 요소는 각각의 프롬프트에 대한 평균값으로 나타내며, 이를 바탕으로 면접 공간의 자연스러움을 종합적으로 분석하였으며, 평가 결과는 표 2와 같다. 면접 공간은 출입문, 벽면, 책상/의자, 창문이라는 필수 요소를 포함하여 설계되어야 하며, 벽면은 정확히 4개일 때 가장 자연스러운 구조를 제공한다.

Table 2.

Quantitative evaluation based on criteria

#1은 벽면의 개수 평균값이 5.25로 나타나, 자연스러운 기준인 4개에서 크게 벗어난다. 출입문은 존재 유무 평균값이 0.25로 매우 낮아 현실감 있는 면접 공간으로 보기 어렵다. 반면, 창문과 책상/의자는 각각 평균값 1로 자연스러움을 충족하고 있어 기능적 요소는 적절히 구현되었다. 하지만 벽면과 출입문의 부재로 인해 전체적으로 자연스러운 면접 공간으로 평가하기에는 부족하다.

#2는 벽면의 개수가 평균 4.71로, 기준인 4에서 약간 벗어나 있다. 출입문 평균값은 0.43으로 첫 번째 프롬프트보다는 개선되었지만 여전히 현실감을 보완할 필요가 있다. 창문은 평균값 0.98로 자연광과 외부 경관을 적절히 제공하며, 책상/의자도 자연스러운 기준을 충족하고 있다. 벽면과 출입문 생성의 성능이 더 높아진다면 충분히 활용될 수 있다.

#3은 벽면의 평균값이 5.51로 모든 프롬프트 중 가장 높다. 이는 벽면이 과도하게 많아 공간의 현실감을 저하시킬 가능성이 높다. 반면, 출입문 평균값이 0.77로 가장 높아 출입문의 자연스러움을 잘 구현하고 있으며, 창문과 책상/의자는 평균값 1로 자연스러운 상태를 유지하고 있다. 벽면 개수만 조정된다면 매우 이상적인 면접 공간으로 평가될 수 있다.

#4는 벽면 평균값이 4.12로 자연스러운 기준인 4에 가장 가깝다. 출입문 평균값은 0.42로 약간 낮지만, 창문과 책상/의자는 평균값 1로 자연스럽게 구현되었다. 전반적으로 벽면, 창문, 책상/의자 등 주요 구성 요소가 적절히 조화를 이루고 있어 가장 자연스러운 면접 공간으로 평가된다.

#5는 벽면 평균값이 4.89로 기준인 4를 약간 초과한다. 출입문 평균값은 0.67로 비교적 높은 점수를 보여 현실감 있는 공간을 구현하고 있다. 창문과 책상/의자도 평균값 1로 자연스러운 상태를 유지하고 있다. 벽면의 개수만 잘 조절된다면, 매우 적합한 면접 공간으로 개선될 가능성이 있다. #6는 벽면 평균값이 4.74로, 자연스러움 기준에서 벗어나 있다. 출입문 평균값은 0.53으로 평균적인 수준을 유지하지만, 창문 평균값이 0.65로 가장 낮아 자연광과 외부 경관 제공에서 부족함을 나타낸다. 책상/의자는 평균값 1로 적절히 구현되었지만, 창문이 없어, 면접 공간의 현실감이 떨어질 가능성이 있다.

모든 프롬프트에서 벽면의 평균값이 4를 초과하고 있어, 이를 정확히 4로 맞추는 것이 이상적인 면접 공간을 구현하기 위한 핵심이라고 할 수 있다. 하지만 이 값은 평균값으로 계산되었기 때문에, 실제로는 벽면의 개수가 정확히 4개인 경우도 존재한다. 이러한 문제를 해결하기 위해 프롬프트에 벽면 개수를 명확히 지정하는 조건을 추가했으나, 해당 조건이 모든 결과에 충분히 반영되지 않는 한계가 확인되었다.

책상과 의자의 경우, 모든 프롬프트에서 100%의 확률로 배치되는 것을 확인할 수 있어, 면접 공간의 필수 구성 요소로 안정적으로 반영되었다. 창문의 경우에도 프롬프트에 관련 조건을 추가한 결과, 100%에 가까운 확률로 생성되는 것을 확인할 수 있었다. 이는 창문의 조건이 프롬프트에 효과적으로 반영되었음을 보여준다.

출입문에 대한 조건은 프롬프트에 추가된 경우(#2, #3, #5, #6)가 조건이 추가되지 않은 경우(#1, #4)보다 생성 확률이 더 높았다. 그러나 그 차이가 크지 않아 출입문 생성 조건의 효과는 상대적으로 제한적임을 알 수 있었다. 이를 통해 출입문 조건 추가는 생성 확률을 다소 높일 수 있으나, 절대적인 효과를 보장하지는 않는 것으로 판단된다. 따라서, 이와 같은 결과는 가상 면접 공간 설계에서 프롬프트 조건의 효과와 한계를 보여준다. 이 뿐만 아니라 생성되었다고 하여도, 자연스럽고 실제와 같은 모습으로 만들어져야만 한다. 그림 2~4는 생성된 파노라마 영상을 3차원 뷰를 통해 면접 공간 영상을 확인하고, 개선이 필요한 예시를 나타낸다.

천장은 일반적으로 심플한 패턴을 기반으로 전등이 배치되어야 하지만 그림 2에서는 패턴 없이 무작위로 배치된 형태를 보인다. 이러한 전등 배치는 실제 몰입형 시스템에서 사용자에게 현실감 있는 경험을 제공하기 어렵게 만들며, 몰입감을 크게 저해할 수 있는 문제로 작용할 수 있다.

Fig. 2.

Examples of incorrect ceiling area generation

그림 3은 면접 공간 생성 과정에서 나타난 부자연스러운 결과를 보여주는 예시를 나타낸다. 구체적으로 구분된 벽 사이에 비정상적으로 이어져 있는 칠판, 공간이 지나치게 작거나 삼각형 또는 오각형 이상의 비정상적인 형태로 생성된 면접 공간이 확인된다. 이러한 공간 형태는 책상과 의자의 배치를 부자연스럽게 만들 수 있다, 또한, 실제로 사용하기 어려운 책상이 생성되는 결과는 현실감에 방해되는 요인으로 작용할 수 있다. 이러한 부자연스러운 공간의 형태와 가구 및 소품의 배치는 몰입형 시스템에서 현실감과 자연스러움을 저해하는 주요 원인이 될 수 있다. 이는 면접 공간의 설계에서 공간 구조와 가구 배치의 일관성과 현실감을 더욱 세밀히 고려해야 함을 시사한다.

Fig. 3.

Examples of Unrealistic Generation Results

또한, 그림 4에서는 출입문 생성 과정에서 발생한 일부 오류가 관찰된다. 예를 들어, 문의 손잡이가 좌우 양쪽에 동시에 달려 있거나, 사람이 통과하기 어려울 정도로 크기가 비정상적인 문, 벽 영역을 넘어선 문의 위치, 등은 공간의 자연스러움을 크게 저하시킨다. 이러한 오류들은 면접 공간의 현실감을 저해하는 주요 요인으로 작용한다.

Fig. 4.

Examples of incorrect door generation

Ⅲ. 활용 가능성 분석 및 고찰

가상 면접 공간은 현실적인 면접 환경을 디지털로 구현하여, 면접 대상자와 면접관 모두에게 몰입감과 효율성을 제공하는 솔루션으로 활용 가능하다. 본 연구에서 설계된 가상 면접 공간은 출입문, 벽면, 책상과 의자, 창문과 같은 주요 구성 요소를 기반으로 설계되었다. 이를 통해 면접 환경의 현실감과 신뢰성을 높이고자 하였고, 가상 면접 공간의 활용 가능성을 다각도로 분석하였다.

가상 면접 공간을 생성하여 적용하는 경우, 물리적인 면접 장소를 준비할 필요를 없애, 시간과 비용을 크게 절감할 수 있다. 기존 가상 면접 환경에서는 가구 배치와 같은 작업이 요구되지만, 가상 면접 공간은 디지털 플랫폼에서 이를 모두 대체할 수 있다. 특히 대규모 채용이나 다수의 면접을 동시 진행하는 상황에서, 이러한 시간 및 비용 절감 효과는 더욱 두드러진다. 또한, 가상 면접 공간은 실제 면접과 유사한 환경을 제공하여 몰입감을 극대화할 수 있다.

본 연구에서 설계된 면접 공간은 책상, 의자, 창문, 출입문 등의 구성 요소를 통해 현실감을 구현하며, 면접 대상자가 심리적으로 안정감을 느끼고 면접에 집중할 수 있도록 도울 수 있다. 가구의 배치와 공간의 크기 또한 실제 면접 환경과 유사하게 설정되어 면접관과 대상자 간의 상호작용을 자연스럽게 만든다. 이러한 몰입감은 면접 과정의 신뢰성을 높이고, 지원자의 역량을 보다 정확히 평가할 수 있는 환경을 제공한다. 마지막으로, 가상 면접 공간은 필요에 따라 다양한 형태로 설계할 수 있는 유연성을 제공한다. 예를 들어, 1:1 면접을 위한 소규모 공간, 그룹 면접과 같은 대규모 공간 등 다양한 요구를 충족할 수 있다. 이러한 맞춤형 설계는 면접 목적에 따라 공간의 크기와 구성 요소를 조정할 수 있도록 하며, 조명이나 소품과 같은 세부사항까지도 구체적으로 설계할 수 있다. 이를 통해 기업의 면접 방식과 요구에 최적화된 환경을 제공할 수 있다.

그러나, 가상 면접 공간은 많은 장점을 가지고 있지만, 현실감을 저해할 수 있는 일부 기술적 한계와 설계상의 문제가 존재한다. 특히 Skybox AI는 고화질 파노라마 영상을 생성할 수 있어 화질의 문제를 해결할 수 있지만 여러 문제를 추가적으로 해결해야만 한다. 예를 들어, 잘못된 천장 디자인, 비정상적인 가구 배치, 출입문과 창문의 부정확한 생성 결과는 현실감을 떨어뜨릴 수 있다. 이러한 문제를 해결하기 위해, 프롬프트 설계를 더욱 세부화하고 AI 모델의 성능을 높이는 것이 필요하다.

Ⅳ. 결론 및 향후 과제

본 논문에서는 Skybox AI를 이용하여 파노라마 기반의 가상 면접 공간을 설계하기 위해 프롬프트를 설계하고 이를 이용한 결과를 토대로 생성 성능과 활용 가능성에 대하여 분석하였다. 결론적으로, 가상 면접 공간은 시간과 비용 절감, 접근성 향상, 몰입감 제공, 그리고 환경 커스터마이징의 유연성을 통해 면접 환경 조성에 활용될 수 있는 잠재력을 지닌다. 하지만, 현실감을 저해하는 요소들을 해결하고 프롬프트 설계를 최적화하는 과정과 세밀한 부분을 고려할 수 있는 개선된 인공지능 모델이 필요하다. 이를 통해 더욱 신뢰성과 몰입감을 갖춘 면접 환경을 제공할 수 있을 것으로 보인다. 이러한 연구와 개선은 가상 면접 공간이 미래의 채용 과정에서 표준으로 자리 잡을 가능성을 높일 것이다.

향후 연구에서는 파노라마 생성 정확도를 향상시키기 위한 고도화된 프롬프트 설계 기법을 체계적으로 개발하고자 한다. 또한, 생성된 가상 면접 공간을 실제 몰입형 인터페이스(VR HMD, 웹 기반 3D 뷰어 등)와 연동하여 사용자 몰입도 및 만족도를 정량적으로 측정하는 실험을 수행함으로써, 실사용 가능성을 검증할 예정이다. 이를 통해 가상 면접 공간의 설계 및 적용이 교육, 채용, 훈련 등 다양한 메타버스 기반 응용 분야로 확장될 수 있는 기반을 마련하고자 한다.

Acknowledgments

이 연구는 국립금오공과대학교 대학 연구과제비로 지원되었음(2024년)

References

• D. Plekhanov, H. Franke, and T. H. Netland, "Digital transformation: A review and research agenda", European Management Journal, Vol. 41, No. 6, pp. 821-844, Dec. 2023. [https://doi.org/10.1016/j.emj.2022.09.007]
• M. Lee and M. Kim, "Factors Influencing Resistance to the Metaverse: Focusing on Propagation Mechanisms", International Journal of Advanced Smart Convergence, Vol. 13, No. 2, pp. 110-118, Apr. 2024. [https://doi.org/10.7236/IJASC.2024.13.2.110]
• A. Abilkaiyrkyzy, A. Elhagry, F. Laamarti, and A. El Saddik, "Metaverse key requirements and platforms survey", IEEE Access, Vol. 11, pp. 117765-117787, Oct. 2023. [https://doi.org/10.1109/ACCESS.2023.3325844]
• C. Yoon, S. Yang, J. Park, J. Si, Y. Jung, and S. Kim, "Metaverse Virtual Interview Platform Leveraging Generative AI and Speech Recognition", The Journal of Korean Institute of Information Technology, Vol. 22, No. 6, pp. 163-173, Jun. 2024. [https://doi.org/10.14801/jkiit.2024.22.6.163]
• J. Si and S. Kim, "Research on Designing Actual Virtual Interviewers based on Analysis of Image Generative AI in Web Platforms", The Journal of Korean Institute of Information Technology, Vol. 22, No. 11, pp. 145-154, Nov. 2024. [https://doi.org/10.14801/jkiit.2024.22.11.145]
• A. Bandi, P. V. S. R. Adapa, and Y. E. V. P. K. Kuchi, "The power of generative ai: A review of requirements, models, input–output formats, evaluation metrics, and challenges", Future Internet, Vol. 15, No. 8, pp. 260-319, Jul. 2023. [https://doi.org/10.3390/fi15080260]
• F. E. Sandnes and Y. P. Huang, "Translating the viewing position in single equirectangular panoramic images", In Proceedings of IEEE International Conference on Systems, Man, and Cybernetics, Budapest, Hungary, pp. 389-394, Oct. 2016. [https://doi.org/10.1109/SMC.2016.7844272]
• J. Si, S. Yang, J. Song, S. Son, S. Lee, D. Kim, and S. Kim, "Generating and Integrating Diffusion Model-Based Panoramic Views for Virtual Interview Platform", In Proceedings of IEEE International Conference on Artificial Intelligence in Engineering and Technology (IICAIET), Kota Kinabalu, Malaysia, pp. 343-348, Aug. 2024. [https://doi.org/10.1109/IICAIET62352.2024.10730450]
• S. Yoo, "A Study on Analysis Criteria for AI Service Impact Assessment", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 23, No. 1, pp. 7-13, Jan. 2023. [https://doi.org/10.7236/JIIBC.2023.23.1.7]
• Skybox AI, https://skybox.blockadelabs.com/, [accessed: Dec. 10, 2024]
• GPT-4o, https://openai.com/index/hello-gpt-4o/, [accessed: Dec. 10, 2024]