Home

본 연구에서는 로그-멜-필터뱅크(Log-mel Filterbank) 값을 CRNN의 입력 특징으로 사용하였으며, 전체적인 추출과정은 그림 1에 나타나 있다.

Fig. 1. 
Extraction process of log-mel filterbank

먼저, 44.1KHz로 샘플링된 오디오 신호의 매 40ms 구간에 대해서 20ms의 중첩을 허용하여 STFT(Short-Time Fourier Transform)을 구한다. STFT 값으로부터 40 band의 멜-필터뱅크 값을 전체 0에서 22050Hz의 주파수 구간에서 구한 후, 이를 로그변환 함으로써 40차원의 로그-멜-필터뱅크 값이 20ms 간격의 프레임마다 얻어지게 된다. 로그-멜-필터뱅크 값은 학습 데이터 전체의 평균값으로 빼주고 또한 표준편차 값으로 나누어주는 과정을 통해서 정규화한 후 사용하게 된다.

본 논문에서 사용된 CRNN의 구조가 그림 2에 나타나 있다. CRNN은 CNN와 그 뒤를 따라오는 RNN 그리고 출력을 나타내는 FNN이 서로 연결된 형태로 이루어진다. CNN은 시간-주파수 공간 상의 변이에 강인한 특징을 추출하는 역할을 하며, RNN은 시간영역에서의 오디오 신호의 상관관계 정보를 제공하게 된다. 마지막으로 FNN은 특정 시간 프레임에서 각 소리 이벤트들에 대한 사후 추정 확률값(Posterior Probabilities)을 출력한다.

Fig. 2 
Architecture of CRNN

CNN의 경우에는 오디오 신호로부터 추출된 40차원의 로그-멜-필터뱅크 값을 입력으로 받아들이는데, 이때 한 번에 입력되는 시간 프레임의 길이(T)는 최적의 인식 성능을 나타내기 위하여 조절이 가능하므로 CNN의 입력 특징의 차원은 T × 40 이 된다.

CNN은 3개의 컨벌루션 층으로 이루어져 있으며, 각 층은 독립적인 5×5 필터를 사용하는 256개의 특징 맵(Feature Map)으로 구성된다. 필터의 출력에 대해서는 배치정규화를 적용한 후 ReLU 활성화 함수를 거치게 된다. 시간축 상에서의 오디오 신호 정보를 유지하기 위해서 CNN에서의 최대 풀링(Max Pooling)은 주파수 축 상에 서만 이루어진다. 각 컨벌루션 층의 마지막 부분에서는 0.25의 비율로 드랍아웃이 실행된다.

CNN의 출력은 GRU(Gated Recurrent Units)를 기본 구성 단위(Unit)로 채택한 RNN의 입력으로 사용된다. RNN은 256개의 GRU 유닛을 가지며 1개 이상의 층으로 구성된다. 최종적으로 출력층은 sigmoid 함수를 활성함수로 가지는 K(오디오 신호 클래스의 수)개의 단위를 가지며 매 프레임 마다 각 클래스의 사후 추정 확률값을 생성하며 이를 바탕으로 CRNN의 소리 이벤트 검출 성능이 결정된다.

본 논문에서는 CRNN의 성능 실험을 위하여 이 분야에서 많이 활용되는 대표적인 오디오데이터베이스인 TUT Sound Events Syhtnetic 2016 (TUT-SED Synthetic)을 이용하였다[13]. 이 데이터에는 인공적으로 만들어진 오디오 데이터가 포함되어 있는데, 이는 실제 환경에서 녹음된 오디오만을 이용할 경우 데이터가 충분히 확보되기 어렵기 때문이다. 또한 인위적으로 오디오 데이터를 만들어 줌으로써 레이블의 산정시 주관적인 요소가 많이 들어가는 단점을 보완해 줄 수도 있다는 장점이 있다.

TUT-SED Synthetic은 16개의 서로 다른 종류(클래스)로부터의 소리 이벤트들을 섞어서 만들어진다. 데이터의 전체 길이는 566분이며 이들을 60%, 20%, 20%의 비율로 나누어 각각 학습데이터, 검증데이터, 인식데이터로 활용하였다. 소리 이벤트의 종류는 16개이며 표 1에 그들의 구체적인 종류와 전체 길이가 표시되어 있다.

CRNN을 이용한 소리 이벤트 검출의 평가척도로는 F-score와 ER(Error Rate)를 동시에 사용하였으며, 평가 방식으로는 테스트 오디오의 1초 단위마다 평가척도를 계산하는 세그먼트(Segment)기반 방식과 실제 이벤트가 발생할 때 마다 평가척도를 계산하는 이벤트(Event) 기반 방식을 모두 사용하였다[14].

본 연구에서는 CRNN의 학습과정에서 다양한 환경을 적용하여 최적의 인식성능을 나타내는 하이퍼-파라미터 값을 찾고자 하였다. 먼저 학습률을 변화시키면서 소리 이벤트 검출의 성능 변화를 관찰하였으며 그 결과는 표 2에 나타나 있다.

성능 실험을 위해서 bach normalization과 드랍아웃을 모두 적용하였다. 비용함수로는 binary cross entropy를 사용하였으며 이는 학습의 수렴여부를 판단하는 기준이 된다. 한편, 뉴럴네트워크의 최적화는 Adam optimizer를 사용하였다.

표 2에서 보다시피, CRNN에서의 최고의 성능은 학습률이 10^-4인 경우에 나타남을 알 수 있다. 일반적으로 딥 뉴럴네트워에서는 최적의 학습률이 네트워크의 형태나 학습데이터의 양에 따라서 다소 달라지기 때문에 본 연구에서는 검증데이터에 대한 성능을 기준으로 학습률을 결정하였다. 표 2에 나타나 있듯이 검증데이터에서 최고의 성능을 보이면 인식데이터에서도 가장 좋은 성능을 보임을 알 수 있으므로, TUT-SED Synthetic을 이용한 CRNN의 학습에서는 검증데이터를 이용한 학습률 선택이 적절함을 알 수 있다.

표 2에서는 학습률이 감소함에 따라서 최고의 성능을 나타나는 반복 횟수가 증가함을 할 수 있다. 예를 들어, 학습률이 10^-4인 경우에는 33회의 반복횟수를 나타내지만 10^-6인 경우에는 191회의 반복횟수를 가지는데, 이는 CRNN의 weight들이 느리게 수렴하기 때문이며 CRNN의 underfitting을 야기하고 성능저하를 낳는다. 반면에 학습률이 10^-3으로 커지게 되면 반복횟수가 16회로 급격히 줄어들며 이는 overfitting을 야기시킴으로써 또한 성능의 저하를 야기한다.

본 연구에서는 훈련에 사용되는 오디오 세그먼트들을 매 epoch 마다 변화를 준 경우에 인식율의 향상이 있는지 조사해 보았다. 이를 위해서는 매 epoch마다 오디오 세그먼트들의 시작 프레임을 순차적으로 이동시킴으로써 CRNN이 받아들이는 세그먼트들이 매 epoch 마다 달라지게 하는 방식을 취하였다(Overlap방식).

표 3에는 위와 같은 overlap 방식을 적용한 경우(Overlap)와 그렇지 않은 경우(Non-overlap)에 대해서 소리 이벤트 검출결과를 나타내었다. 평가방식으로는 세그먼트 기반 방식과 이벤트 기반 방식을 모두 사용하였으며 평가결과는 F-score와 ER로 나타내었다. 학습의 수렴 기준은 검 증데이터에 대한 ER 값을 적용하였으며 조기 종료 과정을 통하여 수렴 기준 값이 100회(Iteration) 동안 개선되지 않으면 overfitting을 방지하기 위해서 학습을 종료하며 최대 학습 회수는 200으로 설정하였다. 세그먼트 길이 T는 1024 프레임(20.48초)으로 정하였다.

또한 본 연구에서는 배치정규화와 드랍아웃의 영향에 대해서도 조사하였다. 배치정규화는 학습의 역전파(Backpropagation) 과정에서 발생하는 vanishing gradient 및 exploding gradient 문제를 해결하기 위하여 사용되는 기법이며, 본 연구에서는 그림 2에서 보인바와 같이 컨벌루션 층에서 ReLU 활성함수 전단계에서 적용된다. 드랍아웃은 뉴럴네트워크의 정형화(Regularization) 기법중의 하나로, 출력층을 제외한 각 층의 뉴런을 사전에 정의한 확률(Dropout Rate)로 학습 과정에서 배제시키는 기법이다. 본 연구에서는 컨벌루션 층과 RNN층 모두에 드랍아웃을 적용하였다. 표 2에는 배치정규화와 드랍아웃을 적용했을 경우와 하지 않았을 경우 각각에 대한 인식성능을 표시하였다.

먼저, 표 3에서 overlap을 적용한 경우와 그렇지 않은 경우를 살펴보면, 세그먼트 기반 평가 방식에서 overlap 방식을 적용한 경우 평균 63.18%의 F-score와 0.52의 ER 값을 가지며 그렇지 않은 경우엔 평균 62.11%와 0.54의 값을 가짐으로써 overlap 방식의 학습 기법이 보다 효과적임을 확인할 수 있다. 이벤트 기반 평가방식에서도 큰 차이는 아니지만 overlap 방식이 근소하게 우수한 성능을 나타냄을 확인할 수 있다.

표 3에서는 배치정규화와 드랍아웃이 성능에 어떤 영향을 미치는지도 확인 할 수 있는데, 예상한대로 배치정규화와 드랍아웃을 모두 적용한 경우에 가장 좋은 성능을 보임을 알 수 있었다. 배치정규화만 적용하고 드랍아웃을 배제한 경우에는 다소 낮은 성능을 보였지만 그 차이가 크지 않아서 드랍아웃의 성능에 대한 영향은 그리 크지 않음을 확인 할 수 있었다. 한편, 배치정규화를 적용하지 않은 경우에는 드랍아웃의 적용여부와 상관없이 성능이 상당히 저하되는 것을 확인 할 수 있었으며, 배치정규화와 드랍아웃을 동시에 적용하지 않을시 가장 저조한 성능을 보임을 확인할 수 있었다.

표 4에는 학습수렴기준을 F-score로 한 경우의 성능을 ER 기준으로 한 경우와 비교하여 나타내었다. 배치정규화와 드랍아웃을 모두 적용하였으며 그 밖의 조건은 표 3과 동일하게 두었다. 전체적으로 ER기준으로 한 경우가 F-score기준에 비해서 다소 나은 성능을 보임을 알 수 있으나 뚜렷하게 큰 차이는 없는 것으로 보아 CRNN의 학습에서 수렴기준으로는 두 가지 모두 채택 가능하다고 판단된다.

마지막으로, 표 5에는 CRNN의 입력단위인 세그먼트의 길이에 따른 성능 변화를 나타내었다. 세그먼트의 길이가 짧은 경우(2.56초, 5.12초)에 비해서 다소 긴 경우(10.24초, 20.56초)에 보다 우수한 성능이 나타남을 알 수 있다. 10.24초와 20.56초에서 비교적 좋은 성능이 나타나는 것은 본 연구에서 검출하고자 하는 소리 이벤트들 중에서 길이가 긴 것이 많은 것과 연관이 깊으며, 또한 RNN에서 비교적 긴 시간 관계 정보를 잘 탐지 할 수 있기 때문인 것으로 판단된다.