Home

최근에 무선 이동통신 기술의 발달로 비디오 스트리밍 기술을 이용한 많은 멀티미디어 서비스들이 생겨나고 있다[1]. 특히 시변 특성을 갖는 무선 네트워크 환경에서 연속적인 패킷 손실과 급격한 대역폭의 변화는 공간적 그리고 시간적으로 높은 연관성을 갖고 있는 비디오 화질의 열화에 많은 영향을 미치고 있다[2]-[4]. 본 논문에서는 직교 주파수 분할 다중화(OFDM, Orthogonal Frequency Division Multiplexing) 네트워크에서 패킷 손실로 인한 스케일러블 비디오의 화질 왜곡을 최소화하는 자원할당 알고리즘을 제안한다.

무선 네트워크에서 스케일러블 비디오의 효과적인 전송을 위한 다양한 알고리즘들이 제안되었다. 무선 랜(WLAN, Wireless Local Area Network)에서 시 분할 다중 접속(TDMA, Time Devision Multiple Access)에 기초한 스케일러블 비디오를 전송하는 알고리즘들이 제안되었다[5]. 채널용량을 기초로, 각 스케일러블 계층의 비대칭 에러 보호 및 향상계층의 전송 율 조절등을 이용하여 전송된 비디오의 PSNR(Peak Signal-to-Noise Ratio)을 최대화하였다. 또한 스케일러블 비디오의 전송을 위해서, 각 스케일러블 계층의 드롭되는 패킷의 양을 채널 상태에 따라 중요한 패킷의 양을 조절하는 다양한 트래픽 제어 알고리즘이 제안되었다[6][7]. 그러나 위의 알고리즘들은 정확한 스케일러블 계층에 대한 에러전파의 특성을 고려하지 않고, 채널 상태에 따라 각 계층의 전송 패킷 양을 조절하는 알고리즘을 사용하였기 때문에, 화질 왜곡에 중요한 영향을 미치는 스케일러블 계층의 손실로 인하여 많은 화질 열화를 발생시킬 수 있다. [8]에서는 선형 프로그래밍을 활용하여 기본계층의 화질을 유지하면서, 향상계층의 화질을 최대화하여 자원을 할당하는 알고리즘을 제안하였다. 그러나 제안된 알고리즘은 기본계층의 화질 열하의 최소화에 최선을 다하지 않았기 때문에 화질왜곡 측면에서 최적화되었다고 볼 수 없다.

본 논문에서는 OFDM 무선 네트워크 환경의 다양성과 스케일러블 비디오 계층의 패킷 손실로 인한 에러전파의 비대칭성을 이용하여 스케일러블 비디오의 화질 왜곡을 최소화하는 알고리즘을 제안한다. 첫 번째로, 각 스케일러블 계층의 패킷이 손실되었을 경우, 전체 비디오 화질 왜곡에 미치는 영향을 예측하기 위해서, 낮은 복잡도의 스케일러블 계층기반 에전전파 가중치 정보를 계산한다. 계산된 자원할당 알고리즘은 계층기반 가중치 정보와 전송 채널의 다양성을 이용하여 각 스케일러블 계층의 자원 할당 알고리즘을 수행한다. 제안된 자원할당 알고리즘은 계층기반 중요도 정보를 고려하지 않은 TDMA 자원할당 알고리즘[5]과 비교하여 1.5~3.0dB의 성능향상 결과를 나타내었다.

본 논문의 구성은 다음과 같다. 2장에서는 제안된 자원할당 알고리즘의 전체 시스템 구조에 대해서 설명한다. 3장에서는 OFDM 네트워크에서 화질 왜곡을 최소화하는 스케일러블 비디오 자원할당 알고리즘이 대해서 설명한다. 4장에서는 구현된 알고리즘의 성능평가를 기술하고 5장에서 본 논문의 결론을 맺는다.

그림 1은 OFDM 네트워크에서 제안된 스케일러블 비디오 자원할당 알고리즘의 블록도를 나타낸다. 제안된 알고리즘은 4단계로 구성된다. 첫 번째 단계에서는 H.264/SVC 부호화기를 이용하여 입력되는 비디오 시퀀스를 시간 그리고 화질 측면의 스케일러빌리티 특성을 갖도록 스케일러블 비트스트림을 생성한다. 생성된 스케일러블 비트스트림은 계층기반의 압축구조 특성에 따라, 전송 패킷마다 서로 다른 계층정보 및 에러전파의 특성을 갖는다.

Fig. 1. 
Overall structure of the proposed scalable video resource allocation algorithm in OFDM system

두 번째 단계에서는 계층기반의 에러전파 가중치 계산단계를 전송 패킷의 시간 및 화질계층 정보를 이용하여 계산한다. 패킷 손실로 인한 에러전파량을 예측하는 낮은 복잡도의 메트릭이 이용된다[9]. 낮은 화질계층은 높은 화질계층의 생성에 참조되기 때문에, 낮은 계층의 화질 왜곡은 높은 화질계층에 영향을 미치게 되어, 더 큰 에러전파의 가중치를 갖게 된다. 마찬가지로 낮은 시간계층은 계층적 압축구조에 의해서 높은 시간계층에 참조되기 때문에 높은 계층의 패킷 손실보다 더 큰 화질열화에 영향을 미치게 된다.

세 번째 단계에서는 스케일러블 계층의 에러전파 가중치를 기초로 비트 율 왜곡을 최소화하기 위한 낮은 복잡도의 OFDM 시스템의 자원할당 알고리즘이 제안된다. 가장 많은 에러전파 량을 갖는 비디오 계층에 적응적으로 네트워크 전송 자원을 할당하여 수신단의 패킷손실로 인한 화질왜곡을 최소화한다. 네 번째 단계에서는 변조기(Modulation)와 역 고속 푸리에 변환(IFFT)를 이용하여 각 부 반송파에 할당된 비트를 심볼로 변조한다. 변조된 OFDM 심볼은 시간에 따라 천천히 변하는 주파수 선택적 페이딩 채널을 통해서 전송된다. 수신 단에서는 역으로 전송된 심볼을 이용하여 비디오 시퀀스를 만든다.

스케일러블 비디오는 계층기반의 예측구조(Hierarchical Prediction Structure)를 갖는다. 낮은 계층의 정보는 높은 계층에서 참조되기 때문에, 낮은 계층의 패킷손실은 높은 계층의 패킷손실보다 더 심각한 에러전파(Error Propagation) 효과를 갖는다. 결과적으로 낮은 계층의 패킷은 수신단의 화질 왜곡에 큰 영향을 미치기 때문에 안정적으로 전송될 필요가 있다. 시간계층 t와 화질계층 q의 스케일러블 비디오 패킷의 패킷 손실로 인한 에러전파량은 다음과 같이 유도될 수 있다[9].

여기에서 T와 Q는 스케일러블 비디오 압축구조에서 시간계층과 화질계층의 최대 개수를 나타내며, 각 계층에 속한 모든 패킷은 T∙Q개의 계층으로 분류된다. 가장 많은 에러전파량을 갖고 있는 비디오 계층 (t,q)에 우선적으로 부 반송파 n을 할당하여 화질왜곡을 최소화하는 알고리즘을 OFDM 시스템의 자원할당에 적용한다. 이를 위해서 스케일러블 계층 (t,q)에 부반송파 n이 할당되었을 때, 감소되는 에러전파 량을 식 (1)을 이용하여 E_n(t,q)라고 하면, OFDM 시스템의 자원할당 문제는 아래와 같이 정형화 될 수 있다.

여기에서 N은 부반송파 총 개수를 나타낸다. A_n(t,q)는 스케일러블 계층 (t,q)에 부반송파 n의 할당여부를 나타내며, 할당되면 1, 할당되지 않으면 0이 된다. A_n(t,q)=1인 경우, 전송되는 스케일러블 비디오 계층 (t,q)에 부 반송파 n이 할당되었다는 의미이며, 이때 감소되는 에러전파량은 E_n(t,q)=이 된다. 식 (2)와 같이 A_n(t,q)∙E_n(t,q)의 합을 최대화한다는 의미는 가장 많은 에러전파량을 갖고 있는 비디오 계층 (t,q)에 우선적으로 부 반송파 n을 할당하여 화질왜곡을 최소화한다는 것이다. A_n=2(1,2)=1은 스케일러블 계층 (1,2)에 부반송파 n=2가 사용되며, 전송되는 스케일러블 데이터로 인한 에러전파의 감소량은 시간계층 t와 화질계층 q를 기초로 E₂(t,q)로 계산된다. R_n(t,q)은 스케일러블 계층 (t,q)에 할당된 부 반송파에 의해서 전송되는 비트 수를 나타내며, B_t는 OFDM 시스템이 전송할 수 있는 최대 전송량을 나타낸다.

식 (2)를 최대화하기 위해서 본 논문에서는 부반송파 n에 대해서, 스케일러블 계층 (t,q)중에서 가장 큰 에러전파량을 갖는 (t*, q*)을 아래와 같이 선택한다.

선택된 스케일러블 계층 (t*, q*)에는 해당 부반송파를 할당(A_n(t*, q*)=1)한다. A_n(t*, q*)=1에 의해서 할당된 부 반송파 n에 의한 할당된 비트수를 R_n(t*, q*)으로 나타내면, 총 할당된 비트수 R은 R=R+R_n(t*, q*)에 의해서 갱신되며, 초기 값은 0이다. 만약 R이 B_t를 초과하면 해당 알고리즘은 종료된다. OFDM 시스템의 스케일러블 비디오 자원할당 알고리즘의 복잡도는 O(N*T*Q)에 비례한다.

그림 2는 에러전파량을 최소화하기 위한 스케일러블 계층기반의 자원할당 알고리즘을 나타낸다. 먼저 식 (1)을 이용하여 하나의 GOP(Group Of Pictures) 내에서 E_n(t, q)를 계산한다. 그리고 R, B_t 그리고 A_n(t, q)을 모든 N에 대해서 초기화한다. 만약 각 스케일러블 계층에 할당된 총 비트가 Bt보다 작다면, 스케일러블 계층 중에서 가장 큰 에러전파 량을 갖는 (t*, q*)을 식 (3)을 이용하여 찾고, R와 A_n(t*, q*)=1을 갱신한다. 계산된 R이 B_t보다 크게 되면, 제안된 알고리즘은 종료된다.

Fig. 2. 
Scalable layer based resource allocation algorithm

본 장에서는 3장에서 제안된 스케일러블 계층기반의 OFDM 자원할당 알고리즘의 실험결과를 보여준다. 무선 채널 모델은 6개의 독립적인 레일리 분포(Rayleigh Distribution)를 이용한 주파수 선택적 채널모델을 사용하였으며, 최대 지연 확산과 도플러는 5㎲과 30㎐를 각각 할당하였다. OFDM을 위한 심볼 주기는 4㎲이며, 부 반송파의 수는 N은 64개로 설정하였다. 요구되는 비트 손실율(BER, Bit Error Rate) 및 전력은 각각 10^-3과 1W로 설정하였다.

CIF 크기의 ‘Foreman’과 ‘City’ 비디오 시퀀스가 실험에 사용되었다. 초당 프레임 수는 30fps이고, 전체 프레임 수는 49개로 설정하였다. Joint Scalable Video Model(JSVM)[10]이 비디오 인코더로 사용되었고, GOP 크기는 16으로 설정하였다. 화질계층 및 시간계층의 수는 각각 3(Q)과 5(T)로 설정하였다.

제안된 자원할당 알고리즘(P-RA, Proposed Resource Allocation)의 성능평가를 위해서 TDMA 기반의 자원할당 방법(TDMA-RA, TDMA Resource Allocation)방법[5]을 이용하였으며, 성능평가를 위해서 PSNR를 사용하였다. TDMA-RA 방법은 비디오 패킷에 존재하는 계층적 압축구조 기반의 에러전파의 영향을 고려하지 않고, 같은 중요도를 이용하여 자원을 할당하는 알고리즘이다.

그림 3은 P-RA와 TDMA-RA의 각 스케일러블 계층별 자원할당 비율을 나타낸다. 자원할당 비율은 해당 스케일러블 계층의 전체 패킷 수에서 자원할당에 의해서 전송되는 패킷 수를 나눈 결과이다. 자원할당 비율이 0.5이면 전체 패킷 중에서 50%만이 전송되고, 나머지 패킷은 손실된다는 의미이다. 그림 4(a)는 P-RA의 자원할당 비율을 나타낸다. 에러전파의 량이 큰 화질계층과 시간계층에 자원할당을 집중함으로써, 패킷 손실로 인한 에러전파 량을 최소화하는 자원할당을 하였음을 알 수 있다. 반면, TDMA-RA는 각 패킷에 존재하는 에러전파 량에 상관없이 각 패킷을 순차적으로 자원할당을 함으로써, 상대적으로 에러전파에 중요한 계층인 낮은 화질 및 시간계층에 자원 할당 비율이 낮은 것으로 나타나고 있다.

Fig. 3. 
Resource allocation ratio comparisons fo (a) P-RA (b) TDMA-RA

그림 4는 P-RA와 TDMA-RA의 프레임별 PSNR 결과를 나타낸다. 제안된 알고리즘은 TDMA-RA와 비교하여, 에러전파 기반의 자원할당으로, 패킷 손실로부터의 화질열화에 큰 영향을 미치는 스케일러블 계층을 효과적으로 전송함으로써 TDMA-RA와 비교하여 1.5~3.0dB의 높은 화질을 나타내고 있다. 반면, TDMA-RA는 전체 스케일러블 계층에 대해서 자원이 할당됨으로써, 전송되는 패킷의 수는 같지만, 에러전파의 특성을 반영하지 않은 자원할당으로 인하여, 패킷 손실로 인한 에러전파의 효과가 커서 상대적으로 높은 PSNR 값을 얻지 못함을 알 수 있다.

Fig. 4. 
Frame-by-frame PSNR comparisons

본 논문에서는 OFDM 시스템에서 스케일러블 비디오를 전송하기 위한 자원할당 방법을 제안하였다. 제안된 알고리즘은 우선적으로 스케일러블 비디오의 계층적 예측구조를 이용하여 각 계층에 대한 에러전파의 가중치를 계산하고, 전송된 비디오의 화질 저하를 최소화하기 위해서, 부 반송파의 채널 상태를 이용하여 자원을 할당하였다. 실험에서, 제안된 알고리즘은 에러전파 기반의 자원할당으로, 패킷 손실로 부터의 화질열화에 큰 영향을 미치는 스케일러블 계층을 효과적으로 전송함으로써 기존의 TDMA 기반의 자원할당 알고리즘과 비교하여 1.5~3.0dB의 높은 화질을 얻을 수 있었다.