Intra Coded Pictures(ICP)을 이용한 360 영상의 뷰포트 기반 적응적 스트리밍

Ⅰ. 서 론

최근에 가상현실(VR, Virtual Reality) 그리고 증강현실(AR, Augmented Reality)을 지원하는 모바일 및 HMD(Head-Mounted Display) 기기들의 활발한 보급으로, 360 영상을 이용한 몰입형 실감미디어의 이용이 증가하고 있다[1]. 그러나 사용자의 몰임감과 거부감(매스꺼움)을 최소화하기 위해서, 360 영상은 Ultra High Definition(UHD) 이상의 고화질 영상 전송과 낮은 재생 지연이 요구되고 있다. 최근에 고 비트율을 가진 360 영상의 효율적인 데이터 전송을 위한 다양한 압축 및 전송 기법들이 다양하게 연구되고 있다.

고화질의 360 영상을 전송하는 기존의 방법은 360 영상 전체를 하나의 계층으로 부호화하고, 부호화된 비트스트림을 수신단에 전송한다. 수신된 360 전체 영상은 복호화되며, 사용자가 보는 방향에 해당하는 영역(Viewport)을 HMD와 같은 수신 장치를 이용해 렌더링하여 보여준다. 하지만, 사용자의 뷰포트는 360 영상의 일부분만을 차지하기 때문에 360 영상 전체를 높은 품질로 전송하는 것은 불필요한 네트워크의 대역폭 낭비를 발생시킨다. 이런 불필요한 대역폭의 사용을 줄이기 위해서 뷰포트 기반 적응적 스트리밍(VAS, Viewport based Adaptive Streaming)[2][3] 기법이 제안되었다.

대표적인 VAS 기법 중 하나는 타일 기반의 VAS(Tile-based VAS) 이다. 타일 기반의 VAS는 뷰포트에 해당하는 영상의 영역은 높은 해상도로 전송하고, 뷰포트에 해당되지 않는 영역은 낮은 해상도로 전송된다. 뷰포트에 해당하는 영역만을 높은 품질의 타일로 독립적으로 전송할 수 있어 대역폭의 활용에서 이점을 가진다.

타일 기반의 VAS 기법 중 Motion-Constrained Tile Sets(MCTS) 기반의 VAS 알고리즘이 많이 연구되었다[4][5][6]. 그러나 타일 기반의 VAS는 사용자가 고개를 돌릴 경우, 뷰포트의 스위칭이 발생되며 새로운 뷰포트가 생성된다. 이 시점에서 새로운 뷰포트에 해당하는 Random Access Points(RAP)의 프레임을 서버에 빈번하게 요청하게 되고, 이로 인해 비트율이 증가된다. 최근에 표준화된 High Efficiency Video Coding(HEVC)[6] 에도 적용된 MCTS 기법은 영상을 여러 개의 타일로 구분하며, 공간적 그리고 시간적 예측을 통한 엔트로피 부호화를 타일내로 제한하여 수행한다. 타일 기반의 예측기법을 통해서, MCTS 부호화기는 서로 다른 타일의 선택적 조합으로 구성된 비트스트림을 만들 수 있으며, 복화화기는 전송된 타일을 서로 독립적으로 복화화할 수 있는 장점이 있다.

HEVC 스케일러블 확장(SE, Scalibility Extention) 부호기(HEVC-SE)는 여러 계층의 화질 및 해상도를 갖는 비트스트림을 갖고 있으며, 클라이언트의 요청에 기반하여 기저계층(BL, Base Layer)과 향상계층(EL, Enhancement Layer)를 선택적으로 전달하여, 화질 및 해상도를 조절 할 수 있다. HEVC-SE를 이용한 VAS[7][8]에서는 우선적으로 기저계층의 해당하는 타일들은 모두 전송되며, 뷰포트에 해당하는 타일들에는 향상계층이 추가적으로 전달되어, RAP로 인한 비트증가율을 감소시켰다. 그러나 스케일러블 확장 부호화기의 가장큰 특징인 인터 계층간의 예측(ILP, Inter Layer Prediction)으로 인하여 복호화기의 복잡도가 증가되는 문제가 있다.

본 논문에서는 복호화기의 복잡도를 고려하여, ILP를 이용하지 않는 MCTS-HEVC VAS에서 뷰포트 전환 시에 원활한 스위칭을 위한 Intra Coded Pictrues(ICP) 방법을 제안한다. ICP를 이용한 MCTS-HEVC VAS는 3개의 비트스트림으로 구성된다. 낮은 화질의 비트스트림은 비 뷰포트 영역을, 높은 화질의 비트스트림은 뷰포트의 영역을, 그리고 ICP 비트스트림은 빠른 뷰포트의 스위칭을 위해서 사용된다.

제안된 ICP 방법은 뷰포트의 스위칭 시점에서의 RAP 프레임의 요구로 인한 갑작스러운 비트율 증가를 최소화하기 위해서, 낮은 화질의 RAP 프레임들로 구성되며, 계층적 예측구조(Hierarchical prediction structure)를 이용하여 부호화된다. 낮은 화질의 비트스트림을 복호화하기 위해서 ICP 프레임은 인트라 프레임으로 사용된다. 높은 화질의 비트스트림을 위해서 ICP 프레임들은 RAP 복호화를 위한 참조 프레임(Reference frame)으로 사용되어, 기존의 인트라 프레임 부호화로 인한 비트율의 증가를 상당히 감소시킨다.

제안된 ICP 기반의 MCTS-HEVC VAS 방법은 높은 화질에서 인트라 프레임 복호화 시 기존의 MCTS-HEVC VAS 방법보다 약간의 복잡도를 증가시키지만, 비트율 감소는 높다. 실험에서, ICP 기반 MCTS-HEVC를 이용한 VAS는 기존의 MCTS-HEVC VAS 방식과 비교했을 때 BD(Bjontegaard Delta)-rate(%)가 약 13% 절감됨을 보여주었다.

본 논문의 구성은 다음과 같다. 2절에서는 MCTS-HEVC VAS 시스템에 대해서 살펴보고, 3절에서는 본 논문에서 제안하는 ICP 기반 MCTS-HEVC VAS에 대해 설명한다. 4절에서는 제안한 방법의 실험 결과를 설명하고, 마지막으로 5절에서는 본 논문에 대한 결론을 서술한다.

Ⅱ. MCTS-HEVC VAS 시스템

그림 1은 360 영상의 MCTS 기반의 스트리밍을 위한 MCTS-HEVC 기반 VAS 시스템의 구조를 나타낸다[5][6].

Fig. 1.

Structure of MCTS-HEVC VAS for 360-degree video streaming

360 영상의 전송을 위해서는, 360 카메라로부터 구에 맵핑된 영상을 2차원 평면으로 만드는 과정이 필요하며, 이 과정을 프로젝션(Projection)이라고 한다. 프로젝션 방법에는 EquiRectangular Projection(ERP) 또는 CubeMap Projection(CMP) 등의 방법[5]이 사용되며, 영상정보를 최소화하면서 영상의 크기를 줄이기 위해서 사용된다. 본 논문에서는 ERP 프로젝션 방법을 이용하며, 2차원 평면으로 프로젝션 된 영상은 MCTS-HEVC 부호화기의 입력으로 사용한다.

MCTS-HEVC 부호화기는 영상을 여러 개의 타일 세그먼트(타일)로 구분한다. 각각의 타일들은 부호화의 단위가 되며, 시간적 공간적 예측이 타일 단위로 제한되기 때문에, 각각의 타일들은 독립적인 복호화가 가능하다.

서버단은 MCTS-HEVC 부호화기를 이용하여, 같은 컨텐츠에 대해서 여러 개의 화질을 갖는 비트스트림들을 서버단에 생성된다. 서버단은 수신단의 뷰포트의 변화에 대한 정보를 전달받아, 사용자의 뷰포트에 해당하는 부분에는 높은 화질의 타일을, 뷰포트가 아니 부분에는 낮은 화질의 타일을 할당하여 전송함으로써, 전송 비트율의 낮출 수 있는 장점이 있다.

그림 1은 4✕2의 타일 그리드에서 2개의 화질로 구성된 비트스트림(낮은 화질과 높은 화질로 구분)을 예로 나타낸다. 높은 화질의 비트스트림은 Q_high으로, 낮은 화질의 비트스트림은 Q_low를 나타낸다.

Q_high(n,m)에서 n은 프레임 번호를, m은 계층적 예측구조에서의 부호화 프레임을 나타내며, 인트라 프레임은 I, 예측 프레임은 P로 나타낸다. 수신단에서 뷰포트에 대한 정보가 서버에 전달되면, 서버단은 뷰포트에 해당하는 타일(그림 1에서는 1,2,5, 그리고 6)을 높은 화질의 비트스트림을, 뷰포트에 해당되지 않은 타일(3,4,7, 그리고 8)에는 낮은 화질의 비트스트림을 전송한다.

그러나 기존의 MCTS-HEVC 기반 VAS 방법은 사용자의 잦은 뷰포트의 변화로 인하여, 서버단에 RAP의 인트라 프레임을 요구하게 되며, 이는 비트율의 증가를 발생하여, 화면이 끊기거나, 낮은 화질의 뷰포트가 일정기간 유지되는 문제가 발생한다. 이는 높은 화질의 뷰포트가 복호화되고, 렌더링 될 때까지 낮은 화질의 타일 셋들이 뷰포트에 일정기간 유지되는 문제이다.

제안된 ICP를 이용한 MCTS-HEVC VAS 방법은 MCTS-HEVC 부호화기에서, 뷰포트의 스위칭 시점에서의 RAP 프레임의 요구로 인한 갑작스러운 비트율 증가를 피하기 위해서, ICP로 구성된 비트스트림의 사용을 제안한다. ICP 비트스트림은 낮은 화질 비트스트림의 RAP 프레임들로 구성되며, 낮은 화질과 높은 화질의 비트스트림 부호화에 모두 사용된다. 스위칭 시점에서 높은 화질의 RAP는 ICP를 참조 프레임으로 사용되기 때문에, 비트 전송량을 많이 감소시킬 수 있으며, 낮은 화질의 뷰포트가 일정기간 유지되는 문제를 최소화할 수 있다. 자세한 내용은 3장에서 다룬다.

Ⅲ. 제안된 ICP 기반 MCTS-HEVC VAS 시스템

3장에서는 뷰포트 전환시 MCTS-HEVC 기반의 VAS 시스템의 성능 향상을 위한, 제안된 ICP 기반 MCTS-HEVC VAS 시스템을 설명한다.

그림 2는 제안된 ICP 기반의 MCTS-HEVC 부호화 과정을 보여준다. 4×2 타일구조를 갖는 MCTS 부호화기가 사용된다. ICP 기반의 MCTS-HEVC VAS는 3개의 비트스트림으로 구성된다. 낮은 화질의 비트스트림은 비 뷰포트 영역을, 높은 화질의 비트스트림은 뷰포트의 영역을, 그리고 ICP 비트스트림은 빠른 뷰포트의 스위칭을 위해서 사용된다.

Fig. 2.

Schematic illustration of proposed ICP based MCTS-HEVC encoder

높은 화질의 비트스트림은 Q_high로, 낮은 화질의 비트스트림은 Q_low로, 마지막으로 ICP 프레임으로 구성된 비트스트림은 Q_icp로 나타낸다. RAP 간격은 interval(I)로 나타낸다. Q_icp 비트스트림은 interval(I) 간격을 갖는 Q_low의 인트라 프레임들을 추출하여 처음 프레임은 인트라 프레임으로, 그 이후 프레임들은 예측프레임으로 부호화된다. Q_icp 비트스트림은 추출된 Q_low의 인트라 프레임들을 계층적 예측구조를 이용하여 부호화된다.

이러한 인트라 프레임으로만 구성된 Q_icp 비트스트림은 다른 비트스트림의 Group-Of-Pictures(GOP) 단위에 비례해서, 수신단에 전송되며, 뷰포트 스위칭 시에, 높은 화질의 인트라 프레임 전송으로 증가되는 비트 전송량을 크게 감소시킬 수 있다.

Q_icp의 프레임들은 계층적 예측구조에 의하여, 예측 프레임(Prediction frame)으로 부호화되기 때문에, 전송 오류가 발생할 경우, 그 이후에 프레임들에 에러 전파가 발생한다. 특히 Q_icp 비트스트림은 다른 비트스트림에서 인트라 프레임으로 사용되기 때문에, 에러전파의 크기가 다른 비트스트림과 비교하여 훨씬 더 커질 수 있다. 따라서 Q_icp 비트스트림은 Transmission Controll Protocol(TCP) 기반의 신뢰성있는 프로토콜을 통해서 전달된다고 가정한다.

ICP 프레임들은 복호화 시에, 낮은 화질에서는 인트라 프레임으로 사용될 수 있으며, 높은 화질에서는 인트라 프레임 복호화를 위한 참조프레임으로 사용된다. 이는 높은 화질의 인트라 프레임들은 ICP 프레임들을 참조 프레임으로 사용하여, 차분 프레임(Difference frame)으로 구성되기 때문에, 높은 화질로의 뷰포트 스위칭 시에 많은 전송 비트량을 감소시킬 수 있다.

제안된 ICP기반의 MCTS-HEVC VAS는 뷰포트의 변화에 따라 수신단에서는 새로운 뷰포트 정보를 전송하여, 뷰포트에 해당하는 영역에는 높은 화질의 타일과, 나머지 영역에는 낮은 화질의 타일들을 서버단에 요청한다. 이때 Q_icp 비트스트림이 같이 전송되며, ICP 프레임들은 낮은 화질과 높은 화질의 비트스트림 복호화에 사용된다.

스위칭 포인트에서는 기존의 MCTS-HEVC VAS는 새로운 RAP 프레임을 다운받는 과정에서 순간적으로 비트량이 증가되고, 이는 원활한 뷰포트 변화로 인한 자연스러운 화질 변화가 어렵다. 반면 제안된 ICP 기반의 MCTS-HEVC VAS는 스위칭 포인트에서의 원활한 뷰포트 전환을 위해, 2개의 비트스트림에서 사용되는 인트라 프레임들을 부호화하여 낮은 비트전송률로 ICP 비트스트림을 전송하기 때문에, 기존 VAS와 비교하여, 화질개선등의 성능 향상을 갖는다.

Ⅳ. 구현 결과

4장에서는 제안된 ICP기반의 MCTS-HEVC VAS 스트리밍 시스템(ICP-MCTS VAS)의 성능을 분석하였다. 제안된 ICP-MCTS VAS의 성능비교를 위해서, MCTS-HEVC 기반의 VAS(MCTS VAS)와 VAS를 사용하지 않고 높은 화질의 ERP 영상을 모두 전송하는 방식(ERP)을 이용하였다.

테스트 시퀀스의 부호화 및 복호화를 위해서 HEVC 테스트 모델(HM) 16.20 [9] 버전을 사용하였다. MCTS를 위한 타일링은 2×4로, GOP 크기 및 RAP 간격은 16으로 설정하였다. 실험에 사용된 테스트 시퀀스는 360 영상의 전송을 위해서, 구의 영상을 2차원 평면으로 맵핑하는 과정을 수행한다. 2차원 평면으로 맵핑 포맷에는 ERP와 CMP 등이 있으며[5], 본 논문에서는 ERP 포맷의 4K 영상(3840× 1920)으로 구성된 ‘AerialCity’를 사용하였다[10]. 테스트에 사용된 프레임 수는 160 프레임이다. ICP-MCTS VAS에서 이용되는 ICP 비트스트림은 낮은 화질의 비트스트림에서 인트라 프레임을 추출하여 구성되며, 계층적 예측 구조에 기반하여 1개의 인트라 프레임과 9개의 예측프레임으로 부호화된다.

제안된 ICP-MCTS VAS에서 사용되는 높은 화질의 비트스트림은 QP를 22, 26, 30, 35로 설정하였다. 반면 낮은 화질의 비트스트림은 QP를 높은 화질의 비트스트림에 사용된 QP보다 7 큰 값을 설정하여 부호화를 진행하였다. 뷰포트 스위칭을 위한 간격은 매 16프레임마다 발생하는 것으로 설정하였다. 성능평가를 위해서는 테스트 영상의 luma 영상에 대한 BD-rate(%)[11]을 사용하였다. 음수 값의 BD-rate은 기준이 되는 ERP의 Peak Signal-to-Noise Ratio(PSNR)과 같은 값을 갖기 위해서, MCTS VAS와 ICP-MCTS VAS가 얼마나 많은 양의 비트율을 줄일 수 있는지를 나타낸다.

표 1은 ERP 대비 ICP-MCTS VAS와 MCTS VAS의 BD-rate(%)을 나타내었다. ICP-MCTS VAS와 MCTS VAS는 ERP와 비교하여 15% 이상의 높은 비트율 감소를 나타내었다. 특히 ICP-MCTS VAS는 뷰포트 스위칭 시에, 높은 화질의 비트스트림과 ICP 비트스트림으로부터 각각 적은 양의 차분프레임과 참조프레임을 다운받아, 높은 화질의 인트라 프레임을 생성할 수 있어, 높은 비트율 감소를 나타내었다. 반면, MCTS VAS는 서버에 빈번하게 높은 비트율을 갖는 인트라 프레임을 뷰포트 스위칭 시에 요청하기 때문에, 제안된 ICP-MCTS VAS에 비해 비트율이 증가하였다.

Table 1.

BD-rate(%) comparison for 4✕2 tiling of ICP-MCTS VAS and MCTS VAS relative to ERP

표 2는 높은 화질의 비트스트림에 설정된 4개의 QP에서 ERP 대비 ICP-MCTS VAS와 MCTS VAS의 비트율 감소량을 백분율로 나타내었다. 제안된 ICP-MCTS VAS와 MCTS-VAS는 모든 QP에서 ERP보다 낮은 비트율에서 같은 화질을 가짐을 알 수 있었다. 특히 제안된 VAS는 MCTS VAS보다 모든 QP에서 비트율을 절약할 수 있었다.

Table 2.

Bit rate reduction(%) comparisons of ICP-MCTS VAS and MCTS VAS relative to ERP

그림 3은 높은 화질의 비트스트림에 설정된 4개의 QP에 대한 Rate-Distortion(RD) 비교를 제안된 ICP-MCTS VAS와 MCTS VAS 그리고 ERP 대해서 나타내었다. 모든 QP에서, 제안된 ICP-MCTS VAS가 MCTS VAS와 ERP보다 비트율을 절약할 수 있었다. 이는 뷰포트 스위칭 시 새로운 인트라 프레임에 대한 요구 없이 기존에 전송된 낮은 화질의 인트라 프레임을 지속적으로 사용할 수 있어, 새로운 인트라 프레임 요구로 인한 비트율 증가를 최소화할 수 있었기 때문이다.

Fig. 3.

RD comparisons for ICP-MCTS VAS, MCTS VAS and ERP

Ⅴ. 결 론

본 논문에서는 360 영상의 효율적 스트리밍을 위해서, ICP 기반의 MCTS VAS(ICP-MCTS VAS)방법을 제안하였다. 기존의 MCTS VAS 기법은 사용자의 뷰포트 전환 시에, 새로운 RAP 프레임을 요구하게 되며, 이는 높은 비트율의 전송으로 인한 서버의 부담 및 영상 지연을 발생시키는 문제가 있다. 제안된 ICP 비트스트림은 낮은 화질의 RAP 프레임들로 구성되며, 계층적 예측구조를 이용하여 부호화된다. ICP 프레임들은 복호화 시에, 낮은 화질에서는 인트라 프레임으로, 높은 화질에서는 인트라 프레임 복호화를 위한 참조 프레임으로 사용함으로써, 높은 화질로의 뷰포트 스위칭 시에 많은 비트 전송량 감소시킬 수 있다. 실험에서, 제안된 ICP 기반의 MCTS VAS 방법은 기존의 MCTS VAS 방식과 비교했을 때 13%의 BD-rate(%) 감소의 성능을 나타내었다.

Acknowledgments

본 논문은 2020년도 1학기 한양여자대학교 교내연구비에 의하여 연구됨.

References

• S. Lederer, "Today’s and future challenges with new forms of content like 360 AR and VR", in MPEG workshop Global Media Technology Standards for an Immersive Age. 2017.
• A. Zare, A. Aminlou, M. M. Hannuksela, and M. Gabbouj, "HEVC-Compliant tile-based streaming of panoramic video for virtual reality applications", in Proceedings of the 2016 ACM on Multimedia Conference, Amsterdam, pp. 601-605, Oct. 2016. [https://doi.org/10.1145/2964284.2967292]
• A. Zare, A. Aminlou, and M. M. Hannuksela, "Virtual reality content streaming: Viewport-dependent projection and tile-based techniques", in 2017 IEEE International Conference on Image Processing (ICIP), Beijing, pp. 1432-1436, Sept. 2017. [https://doi.org/10.1109/ICIP.2017.8296518]
• H. Hahn, "Proposal of Image Segmentation Technique using Persistent Homology", The Journal of The Institute of Internet, Broadcasting and Communication(IIBC), Vol. 18, No. 1, pp. 223-229, Feb. 2018.
• R. Ghaznavi-Youvalari, A. Zare, H. Fang, A. Aminlou, Q. Xie, M. M. Hannuksela, and M. Gabbouj, "Comparison of HEVC coding schemes for tile-based viewport-adaptive streaming of omnidirectional video", in 2017 IEEE 19th International Workshop on Multimedia Signal Processing(MMSP), Luton, pp. 1-6, Oct. 2017. [https://doi.org/10.1109/MMSP.2017.8122227]
• T. Wiegand, J. R. Ohm, G. J. Sullivan, W. J. Han, R. Joshi, T. K. Tan, and K. Ugur, "Special section on the joint call for proposals on High Efficiency Video Coding (HEVC) standardization", IEEE Trans. Circuits Syst. Video Technol., Vol. 20, No. 12, pp. 1661-1666, Dec. 2010. [https://doi.org/10.1109/TCSVT.2010.2095692]
• Y. Sanchez, R. Skupin, and T. Schierl, "Video processing for panoramic streaming using HEVC and its scalable extensions", Multimedia Tools and Applications, Vol. 76, No. 4, pp. 5631-5659, Dec. 2016. [https://doi.org/10.1007/s11042-016-4097-4]
• A. T. Nasrabadi, A. Mahzari, J. D. Beshay, and R. Prakash, "Adaptive 360-degree video streaming using scalable video coding", in Proceedings of the 2017 ACM on Multimedia Conference, California, pp. 1689-1697, Oct. 2017. [https://doi.org/10.1109/VR.2017.7892319]
• HM reference software 16.20. [Online]. Available: https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-16.20
• J. Ridge, M. M. Hannuksela, E. Aksu, J. Lainema, and A. Aminlou, "Nokia test sequences for virtual reality video coding", in ITU-T Joint Video Exploration Team (JVET), document JVET-C0064, Jun. 2016.
• G. Bjontegaard, "Calculation of average PSNR differences between RD Curves", VCEG-M33, 2001.