건축분야 활용을 위한 MR콘텐츠 서비스플랫폼 구현
초록
혼합현실 기술(MR)은 4차산업혁명 요소기술 중의 하나로 크게 부각되고 있다. MR 기술은 단순한 디지털 콘텐츠 산업으로서 만이 아니라 건축분야, 관광분야, 의료분야, 각종 교육분야에서 널리 적용되고 있으며 그 활용성을 넓혀가고 있다.
본 논문에서는 MR 단말기와 PC, 모바일 단말기 등 이기종 기기를 연동하는 건축분야 활용을 위한 협업 서비스 플랫폼을 제안하고 시작품 개발과 이의 검증을 수행하였다. 결과, 건축에서 주로 사용되는 skp확장자를 이용하는 3D 모델을 서비스 시작품을 이용하여 MR 단말기인 홀로렌즈를 대상으로 한 MR 콘텐츠 생성을 수행하여 변환시간 및 정상 동작을 확인하였다.
Abstract
Mixed reality technology (MR) has become one of the fourth industrial revolution element technologies. MR technology has been widely applied not only as a digital contents industry but also in the fields of architecture, tourism, medical field, and education.
In this paper, we propose a collaborative service platform for architectural applications that inter-operate with heterogeneous devices such as MR device, PC and mobile, and develop prototype system and verify it. As a result, the 3D model using the skp extension, which is mainly used in architecture design office, was created by using developed prototype system and generate the MR contents for the hololens, which is the MR device, and the conversion time and normal operation were confirmed.
Keywords:
mixed reality, architecture design, collaboration, augment reality, ARkitⅠ. 서 론
MR(Mixed Reality)은 현실과 상호작용을 할 수있다는 AR의 장점, 그리고 몰입감을 전해줄 수 있다는 VR의 장점을 살려 한층 실감나는 가상 세계를 만들어 주고 이를 통해 기존에 얻을 수 없는 경험이나 환경 등을 제공해 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 자극함으로써 실제와 같이 체험하게 하는 기술이다. 그림 1은 VR에 실세계를 추가하여 가상현실 효과를 극대화하는 증강 가상현실(AV, Augmented Virtual Reality)까지 포함하는 MR의 개념을 보여준다[1]-[3].
Concept of the proposed MR contents service platform
MR 기기는 홀로렌즈(Hololens), Meta 등 소수의 개발자 플리뷰 단계의 제품만이 구매 가능하였지만2017년 6월 애플사는 자사의 최신 모바일 OS인iOS11을 발표하며 자사제품을 위한 AR플랫폼인 Arkit을 발표하였다. Arkit은 자사 A9 프로세서 이상을 이용하는 모든 단말기에서 Tango 플랫폼과 유사한 서비스를 지원한다. 스마트폰 OS의 99%이상을 차지하는 구글과 애플은 각각 단렌즈 AR 기술인 ARkit(2017년 6월)), ARcore(2017년 8월)를 발표하였다. 이는 기존 GPS, 지자기 센서, 마커 등을 이용한 정보오버레이가 아닌 Tango 플랫폼과 유사한 환경인식을 통한 혼합현실에 가까운 기술이다. 2018년에는 ARkit ARcore를 중심으로 MR 시장이 확대되고 있다[4]-[6].
한편, 건축분야에서는 BIM(Building Information Modelling)의 보급과 저비용 고성능 MR 기기의 개발로 MR 콘텐츠를 이용할 수 있는 환경이 확대되고 있다. 건축설계분야는 MR에 활용한다면 건축분야 3D콘텐츠를 MR 콘텐츠로 변환하여 체험적인 설계 시뮬레이션이 가능한 장점이 있기 때문에 MR을 통한 실증실험을 통해 건축설계과정에서 발생할수 있는 오류 등의 수정을 통해 8%까지의 건축비용 절감이 가능한 것으로 발표되고 있다[7][8].
하지만 현재까지 발매중인 소프트웨어 중에는 건축설계에 이용되는 BIM 3D모델 포맷을 MR 환경에서 손쉽게 검증할 수 있는 시스템은 존재하지 않는다. 만약 건축설계분야에서 기 보유한 건축 3D콘텐츠를 MR 콘텐츠로 쉽게 변환할 수 있다면 매우 유용할 것이다.
본 연구에서는 MR 기술을 건축분야에 적용할 수 있는 MR 콘텐츠 서비스 플랫폼을 제안하고 실현성을 검증하기 위하여 MR 서비스 플랫폼의 성능을 측정하였다.
Ⅱ. MR 콘텐츠 서비스 플랫폼 설계
2.1 MR 콘텐츠 제작
증강현실, 혼합현실을 구성하는 기술의 분류는 그 목적에 따라 다양한 구분이 가능하지만 대표적으로 디스플레이, 트래킹, 렌더링(Rendering), 인터랙션 및 사용자 인터페이스 4가지로 분류할 수 있다[9].
VR, MR에서 랜더링 기술은 사실적인 콘텐츠의 표현과 관련된 기술로 대표적으로 유니티(Unity) 3D, 리얼엔진이 사용되고 있다. 유니티 3D는 모바일 게임제작용으로 주로 활용되다가 2015년 유니티 3D 5버전 출시 이후 VR 콘텐츠 제작에 많이 활용되고 있으며, 전 세계 VR 콘텐츠 점유율 75%, 홀로렌즈 콘텐츠 점유율 91%, 오큘러스 콘텐츠 점유율 60%를 차지하고 있다. 최근 유니티 3D는 영화나 애니메이션 제작에도 활발히 활용되고 있으며, 기존 VFX와 CG 애니메이션의 단계별 제작방식을 실시간 방식으로 개선하여 제작기간과 제작비용을 절감할 수 있는 획기적인 워크플로우로 주목받고 있다[10].
한편, 구글과 애플은 증강현실 개발 플랫폼인 ARCore와 ARKit을 각각 발표하여 모바일 증강현실 생태계를 조성하고 있으며, 매달 1억 명이 넘은 개발자가 이들 플랫폼을 이용하여 관련 앱을 개발하고 있어, 향후, 다양한 증강현실 서비스 등장과 치열한 개발 플랫폼 경쟁이 예상된다[11][12].
2.2 건축분야 MR 서비스 플랫폼의 설계
본 연구에서 제안하는 건축분야 MR 서비스 플랫폼은 MR 콘텐츠 저작 및 관리를 위한 온라인 서비스인 MR 서비스 서버와 제작된 MR 콘텐츠를 단말기로 다운받아 사용할 수 있는 MR 어플리케이션으로 구성된다. 건축분야 MR 서비스 플랫폼은 사용자가 보유한 건축 3D 데이터를 MR 서비스 서버에 업로드 하여 사용하고자 하는 목적에 따른 설정치의 선택만으로 간편하게 3D 데이터가 MR 콘텐츠로 변환되도록 하는 것이 가능하고 범용 MR기기를 활용한 간편한 MR 협업환경을 구현하는 것을 목적으로 하며 그림 1은 본 연구에서 제안하는 MR서비스 플랫폼의 개념도이다[13].
WebGL기술은 브라우저 내에서 2D와 3D그래픽을 빠르게 표현할 수 있는 애플리케이션 프로그래밍 인터페이스(API)이며, 웹상에서의 3D 데이터 표현에 이용된다. 특히, WebGL은 별도의 플러그인 없이도 실행할 수 있고, 휴대폰, 태블릿에서도 원활한 작동이 보장되는 기술 표준이나, 건축분야에서 일반적으로 이용되는 3D 파일의 편집이 어렵다.
본 연구에서는 MR 콘텐츠 제작환경에서 표준화된 게임엔진인 Unity 3D 활용함으로써 경제적인 개발비용으로 미래에 등장할 다양한 MR 플랫폼을 지원할 수 있도록 하였다. MR 콘텐츠 서비스 서버를 통한 이종 MR 플랫폼간의 동시 사용을 가능하게 하여 실시간 협업도구로 사용 가능하게 하는 것을 목적으로 하였다.
편집기능을 수행하는 VR 애플리케이션에서는 모델을 직접적으로 로드 할 수 없는 파일에 대하여 애플리케이션에서 직접 활용가능한 AssetBundle로 변경할 필요가 있다. AssetBundle은 사용 개발툴인 Unity 3D에서 지원하는 어셋을 포함하여 익스포트 할 수 있는 파일형식이다.
AssetBundle은 Unity3D만의 고유한 포맷으로 압축 및 보안이 적용된 형태로 저장할 수 있고, 스트리밍 방식으로 다운로드 받을 수 있도록 관리가 가능한 장점이 있다.
ARkit은 기존 홀로렌즈, Tango 등 H/W 의존 시스템과 비교하여 소프트웨어 기술을 이용한 유사기술로 MR 사용자 환경을 구현함으로써 사용 대상 단말기를 획기적으로 확대하였다. 유사시스템인 구글사의 ARcore도 존재하나, 본 서비스 플랫폼 개발기획 시, SDK preview를 이용한 자체 테스트 결과 위치검출 및 바닥검출이 ARkit에 비하여 일관적인 결과를 보이지 못하였고, ARkit은 시작품 개발 기획시점에서 당장 적용 가능하였다는 점에 비해 ARcore는 SDK preview 단계로서 정식 서비스 일정 및 미정인 상태였다는 점에서 ARkit를 이용하였다[11].
MR 콘텐츠 서비스 서버의 주요기능으로는 회원가입, 회원관리, 콘텐츠관리(입체도면 웹 저작), 콘텐츠조회(입체도면 Web View), 메뉴/코드 관리 6.ARkit 연동 기능, 홀로렌즈 연동 기능이 필요하다. 한편, MR 콘텐츠 서비스 클라이언트 어플리케이션은 MR View(MR 헤드셋을 통하여 3D 모형을 보며 확대 축소 회전을 하고 ARkit 지원 단말을 통하여 3D 모형을 배치), MR One View(MR영상 공유기능으로 MR 헤드셋을 착용한 사용자의 View를 다른 사용자의 MR 헤드셋 아닌 이기종 단말을 이용하여 대화한다, MR Remote View(동일 조감도를 함께 보는 기능으로 동일 MR 헤드셋을 장착한 회의 참여자는 동일한 입체 건축물을 보면서 대화한다.)의 기능을 수행한다.
그림 2는 MR 콘텐츠 서비스 클라이언트 구성도이다. 그림 2에서 사용자 웹은 웹페이지를 통해 사용자의 콘텐츠를 관리하는 기능을 가진다. 건축분야 사용자는 PC로 웹에서 로그인하고 서비스 요청하고 사용자 앱은 사용자 웹에서 등록한 콘텐츠를 모바일 단말기에서 MR 환경에서 이용하기 위한 어플리케이션이다. 물론 PC에서 3D로 보고 협업할 수 있는 사용자 어플리케이션도 별도로 지원한다.
Overview of the MR service client
그림 3은 본 연구에서 제안하는 MR 서버 어플리케이션의 설계도이다.
Design of the MR server application
그림 3에서 사용자 웹은 웹페이지를 통해 사용자의 콘텐츠를 관리하는 기능을 가진다. 건축분야 사용자는 PC로 웹에서 로그인하고 서비스 요청하고 사용자 앱은 사용자 웹에서 등록한 콘텐츠를 모바일 단말기에서 MR환경에서 이용하기 위한 어플리케이션이다.
사용자 애플리케이션은, PC 애플리케이션, 모바일 VR 애플리케이션, MR 애플리케이션으로 구성된다. PC 애플리케이션은 원활한 편집기능 및 협업 기능을 수행한다. PC용 3D 게임과 유사한 작업환경을 제공한다. VR 환경은 삼성의 Gear VR 애플리케이션으로 제공된다. MR 애플리케이션은 개발 대상 MR단말기인 Hololens용 애플리케이션이다. (그림3)
그림 4는 사용자 웹에서 등록한 3D모델의 콘텐츠로의 변환 과정(Prefab Converter)과 이들을 사용자 앱 어플리케이션에 전달하는 동작흐름도이다.
Flow of the MR service application’ operation
Ⅲ. 시험 절차 및 성능시험
3.1 시험시스템의 구성
본 연구에서는 제안된 건축분야 MR 콘텐츠 서비스 플랫폼 구현을 위하여 MR 제작플랫폼과 MR 서비스 어플리케이션을 구현하였다.
그림 5는 구현된 MR 콘텐츠 서비스 플랫폼의 성능을 시험하기 위한 시험시스템의 구성도이고 표 1은 실험시스템의 사양이다.
Configuration of the test system
Specification of the test system
본 논문에서는 구현된 건축분야 MR 콘텐츠의 성능 중에서 웹 프로그램 상에서 3D 모델(건축물 모델)를 클릭하여 해당 모델을 렌더링하는 속도 즉 건축분야 3D 모델링을 위한 소프트웨어에서 지원하는 Autodesk 3ds Max 등에서 이용 출력 가능한 FBX, obj 파일 확장자 또는 Trimble Sketchup 사의 skp 확장자 직접 업로드 할 수 있다.
본 논문에서는 그림 6과 같은 3D 모델의 5000 polygon 이상 sketchup 파일을 렌더링 하는 속도를 시험하였다.
Example of architect 3D model
시험절차는 1. PC 3D 어플리케이션(exe확장자) 실행, 2. 어플리케이션 로그인창에서 로그인 ID/PW 입력, 3. 라이브러리 창 목록에서 PC용 프로젝트 선택 (서버에서 다운로드), 4. 선택 프로젝트창의 플레이 버튼 클릭, 5. 3D 모델 렌더링을 개발자도구에서 시간 확인하는 순서로 수행한다. 아울러 본 논문에서는 홀로렌즈용 MR 콘텐츠 변환속도 즉 모델 보기 기능 수행 시, 사용자 웹에서 3D 모델을 등록하고 이용가능 포맷으로 변경되어 서버에 저장되는 시간과, 이를 Hololens 애플리케이션에서 디바이스로 로딩하여 실시간으로 렌더링하여 화면에 표시에 까지 걸리는 처리시간를 측정하였다.
이때 마이크로소프트 홀로렌즈 어플리케이션 상에서 5000 polygon 이상의 3D 모델(건축물 모델)를 클릭하여 해당 모델을 렌더링하는 총 소요시간을 측정한다. 시험절차는 1. 서버프로 세싱지원PC에서 개발도구 실행, 2. 3D 모델 컨버터 프로젝트 오픈, 3. 플레이 버튼 클릭, 4. Sketchup 3D 모델링 소프트웨어를 통해 사용하고자 하는 3D모델이 5000 Polygon 이상인지 확인, 5. 클라이언트 PC에서 아래 주소로 접속하여 해당 모델 등록, 6. 프로젝트 등록, 7. 서버프로세싱지원 PC에서 개발자도구에 나타나는 프로젝트 등록 완료 로그 확인 및 시간 기록, 8. PC에서 유니티 실행(유니티를 통행 홀로렌즈에 실행 함), 9. 홀로렌즈 프로젝트 오픈, 10. 홀로렌즈 실행, 11. 유니티의 홀로렌즈 IP 설정 및 connect, 12. 플레이 버튼 클릭, 13. 3D 모델 로딩 확인 14. 클라이언트 PC의 개발자도구의 렌더링 시간 확인, 15. 등록 완료시간 및 렌더링 시간의 합을 측정하는 순서로 진행하였다.
MR콘텐츠 변환시간은 건축분야 3D 모델링을 위한 소프트웨어 에서 지원하는 하는 Autodesk MAX 등에서 이용 가능한 FBX, obj 포멧 또는 Trimble Sketchup 사의 skp 포멧을 업로드 시 이를 어플리케이션 내에서 직접 사용 가능한 포멧으로 변환하는 시간과 웹 서버에서 파일 업로드 하는 시간, 서버 내 변환 과정에서 업로드 된 파일을 앱 내 실행 가능한 포맷으로 변경하는 시간을 모두 합한 것으로 데이터의 크기, 폴리곤 수에 따라 처리 시간이 다르게 된다.
상기한 조건의 5개 시료에 대하여 5회씩 반복 시험한 결과, 홀로렌즈용 MR 콘텐츠 변환속도는 모두 1800sec 내를 만족하였다.
끝으로 그림 7은 홀로렌즈에서 동작시킨 MR 응용의 동작예시이다. 그림에서 실세계와 가상현실이 혼합되어 표현되는 것을 볼 수 있다.
Example of MR application’ operation in hololens
Ⅳ. 결 론
본 연구에서는 건축분야 사용자가 보유한 건축분야 3D 데이터를 MR 콘텐츠로 변환하여 홀로렌즈와 같은 모바일 기기를 통하여 체험적으로 건축설계를 할 수 있는 MR 콘텐츠 서비스 플랫폼을 제안하였다. MR 콘텐츠 서비스 플랫폼은 건축분야 다양한 assets를 데이터베이스로 저장하고 있기 때문에 MR 디스플레이 상황에서 사용자의 의도에 따라다양한 건축분야 assets들을 적용시키면서 원격지의또 다른 사용자와 의견교환이 가능한 협업을 지원하고 있다.
제안된 MR 서비스 플랫폼을 구현하여 실현성을 확인한 결과, 웹 서비스를 통해 사용자의 3D 모델의 업로드하고 주 3D model와 부속 3D 모델의 등록이 가능하고 MR 콘텐츠로 변환이 가능하고 평균1초 이내의 3D 렌더링이 가능하고 15분이내의 MR Journal of KIIT. Vol. 17, No. 1, pp. 149-155, Jan. 31, 2019. pISSN 1598-8619, eISSN 2093-7571 155콘텐츠 변환이 가능함을 확인하였다.
건축분야 설계는 기존에는 개념설계이후 실무설계를 수행한 이후에도 사용자의 요구에 의하여 반복적으로 수정을 해야 되는 경우가 빈번히 발생하나 본 연구에서 제안하는 MR 서비스 플랫폼을 이용하면 실무설계이전에 체험형 시뮬레이션이 가능하기 때문에 낭비적인 수정설계 작업이 감소되는 장점이 있을 것이다.
Acknowledgments
본 연구는 2018년도 중소벤처기업부가 후원하는 한국기술진흥원의 지원에 의하여 이루어진 연구로서, 관계부처에 감사드립니다. (2017R0006121)
References
- Philipp Ladwig and Christian Geiger, "A Literature Review on Collaboration in Mixed Reality", International Conference on Remote Engineering and Virtual Instrumentation (REV), Duesseldorf, Germany, p10, Mar.), (2018.
- Ulises Zaldívar-Colado, "A Mixed Reality for Virtual Assembly", Conference: The 26th IEEE International Symposium on Robot and Human Interactive Communication, RO-MAN 2017, At Lisbon Portugal, p6, Aug.), (2017.
- S. Oh, and W. Woo, "CAMAR: Context-aware Mobile Augmented Reality in Smart Space", International Workshop on Ubiquitous Virtual Reality, p48-51, Dec.), (2009.
- Ms. S. Karthika, "Hololens", International Journal of Computer Science and Mobile Computing, 6(2), p41-50, Feb.), (2017.
- Paul Hockett, "Augmented Reality with Hololens: Experiential Architectures Embedded in the Real World", This version submitted to arxiv.org, 13th, p10, Oct.), (2016.
- Li Zhao, "Apple ARKit Overview", 07/08/2017, IT Innovation Specialist itinnovation@contacts.bham.ac.uk.
- DongsooKang, "Trimble Connect &MR(Mixed Reality)_ HoloLens", Trimble report, Nov.), (2017.
- Julie Milovanovic, Guillaume Moreau, Daniel Siret, and Francis Miguet, "Virtual and Augmented Reality in Architectural Design and Education An Immersive Multimodal Platform to Support Architectural Pedagogy", Future Trajectories of Computation in Design, 17th International Conference, CAAD Futures 2017, At Istanbul, Turkey, p20, Jul.), (2017.
-
Seo, Jin-Seok, "A Formalized Approach for Authoring Augmented Reality Contents", KAIS, 11(6), p2219-2224, Jun.), (2010.
[https://doi.org/10.5762/kais.2010.11.6.2219]
- Microsoft, "Input for Windows Mixed Reality", https://docs.unity3d.com/Manual/Windows-Mixed-Reality-Input.html [accessed: Dec. 02, 2018].
- IITP, "ICT issues", weekly paper, 2018.8.1.
-
David R. Walton, and Anthony Steed, "Accurate real-time occlusion for mixed reality", VRST '17 Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology, Gothenburg, Sweden, p10, Nov.), (2017.
[https://doi.org/10.1145/3139131.3139153]
-
Kiljae Ahn, Dae-Sik Ko, and Sang-Hoon Gim, "A Study on the Architecture of Mixed Reality Application for Architectural Design Collaboration", Applied Computing and Information Technology 2018, SCI 788, p48-61, Jan.), (2019.
[https://doi.org/10.1007/978-3-319-98370-7_5]
1998년 : 국민대학교 건축학과(학사)
2007년 : 일본 동경공업대학교 이공학부 건축학과 대학원 (공학석사-건축계획)
2012년 : 일본 동경공업대학교 이공학부 건축학과 대학원 (공학박사-건축계획)
2006년 ~ 현재 : 목원대학교 산학협력단 연구원
관심분야： 건축계획, 건축IT, BIM, Photogrammetry 기술의 건축 분야 응용, 디지털 프로토타이핑, 가상현실 및 혼합현실 기술의 건축 분야 응용 등
1982년 2월 : 경희대학교 전자 공학과 졸업(공학사)
1991년 2월 : 경희대학교 전자 공학과(공학박사)
1994년 ~ 1995년 : UCSB Post-Doc
2011년 1월 ~ 2012년 12월 : 한국정보기술학회 회장
1989년 ~ 현재 : 목원대학교 전자공학과 교수
관심분야 : 멀티미디어 통신, 융합 IT, 사물인터넷