Home

MFCC는 음성 및 오디오 신호 처리에서 널리 사용되는 특징 추출 기술이다. 본 연구에서는 주어진 오디오로부터 MFCC를 추출하고 이를 2차원 이미지로 시각화하여 변형된 DenseNet 기반의 음질 분류 모델을 통하여 음질 분류에 활용한다.

그림 1에 도시된 것과 같이 MFCC 특징 추출 과정은 다음과 같다. 먼저, 입력된 오디오 신호를 작은 프레임으로 나눈다. 그 후, 각 프레임에 대해 STFT(Short-Time Fourier Transform)을 수행하여 주파수 영역으로 신호를 변환한다. 다음으로, Mel 스케일의 필터 뱅크를 적용하여 주파수 영역을 Mel 주파수 스케일로 변환하며, 이후에는 선형 스케일에서 로그 스케일로 변화한다. 그 다음에 주파수 영역에서 적절한 계수를 추출하기 위해 DCT(Discrete Cosine Transform)를 적용하며, DCT 결과로부터 일부 계수를 선택하여 MFCC 특징 벡터를 생성한다[6].

이와 같은 MFCC 추출 과정을 통해 오디오 세그먼트는 변형된 DenseNet 모델의 입력 데이터가 되고, 학습, 검증, 평가 데이터셋 모두에 MFCC 추출 과정을 적용하였다.

본 연구에서는 음질 분류를 위해 DenseNet201 아키텍처를 활용하여 그림 2과 같이 변형한 딥러닝 모델을 구축하였다.

Fig. 2. 
Structure of modified DenseNet201 audio classification model

DenseNet201은 심층 CNN의 한 종류로서, 201개의 계층으로 구성되어 있다. Dense Convolutional Network라는 개념을 기반으로 하며, Convolution Layer, Pooling Layer, Transition Layer, Dense Block의 조합으로 이루어져 있다.

Convolution 계층은 입력 이미지에서 특징을 추출한다. 이미지에서 작은 부분을 슬라이딩하면서 각 지역의 특징을 감지한다. Pooling 계층은 특징 맵의 크기를 줄인다. 이는 계산 비용을 줄이고, 모델의 파라미터 수를 줄이는 데 도움이 되며, 주로 Max Pooling을 사용하여 각 영역에서 가장 큰 값을 선택하여 정보를 압축한다. Dense 블록은 여러 Convolution 계층과 병목 계층으로 구성된다. 밀집한 연결로 인해 그래디언트 소실 문제가 감소하고, 모델이 더욱 풍부한 기능을 학습할 수 있다. Dense 블록 내에서 특징 추출 및 변환이 이루어진다. Transition 계층은 특징 맵의 차원을 줄인다. 이전 밀집 블록의 출력을 받아 차원을 줄인 다음, 다음 밀집 블록으로 전달한다. Classification 계층은 분류 작업을 수행하며, 주어진 입력 이미지가 어떤 클래스에 속하는지를 예측한다[7].

음질 분류를 위해 설계한 변형된 DenseNet 모델에서 입력 이미지의 크기는 224×224로 설정하였고, 과적합 방지를 위해 모델에 50% 드롭아웃 비율을 가지는 무작위 드롭아웃 계층을 추가하였다. 기존 DenseNet201 모델에 512, 256, 128, 64, 32개의 뉴런을 가진 다섯 개의 완전 연결 계층을 추가하였다. 각 계층을 ReLU(Rectified Linear Unit) 활성화 함수를 통해 비선형성을 부여하였으며, 이를 통해 고차원 특징의 추상화와 표현 능력을 강화하였다. 최종 출력 계층은 하나의 뉴런을 갖고 시그모이드 활성화 함수를 적용하여 이진 분류를 수행한다.

실험을 위한 데이터셋은 Google Audio Set, Korean Conversational Speech Corpus[8], OpenSLR Seoul Corpus[9], AI Hub 한국인 대화 음성[10], IRMAS Dataset[11], GTZAN Dataset[12], Urban Sound Dataset[13], ESC Dataset[14] 등 공개 데이터셋과 YouTube 영상, 스마트폰, 녹음기 등으로 직접 수집한 데이터를 사용해 구축하였다. 고음질(HQ) 데이터는 영화, 음악, 동물 소리, 악기 소리, 자연 소리, 사물 소리, TV 소리, Youtube 음성 등이 포함되었고, 저음질(LQ) 데이터는 직접 수집한 사용자 음성 녹음, 전화 통화 녹음 등이 포함되었다.

실험에서 사용한 학습 데이터 및 검증 데이터, 평가 데이터의 비율은 0.8:0.1:0.1로 표 1에 데이터 수를 나타내었다. 전체 데이터 28,000개 중 25,200개의 데이터를 학습 및 검증에 사용하였고, 2,800개의 학습 및 검증에 사용되지 않은 데이터를 독립적인 평가에 사용하였다.

제안하는 변형된 DenseNet 기반의 음질 분류 방법은 Tensorflow와 Keras를 사용하여 DenseNet-201 아키텍처를 기반으로 구현하였다.

그림 3에는 제안하는 방법에 대해 표 1에서 설명한 학습 및 검증 데이터를 사용해 훈련하는 과정에서 학습 정확도 및 손실 경향을 epoch 단위로 나타낸 그래프를 도시하였다.

Fig. 3. 
Learning accuracy and loss trends of the proposed method

제안하는 방법은 초기 epoch부터 안정적으로 학습되었으며, 학습 손실은 epoch 진행에 따라 점진적으로 감소하는 양상을 보였다. 그러나, 일부 epoch에서 검증 정확도가 급격히 낮게 나타났고, 특히 57 epoch에서 검증 손실이 비정상적으로 높게 나타났다. 이러한 현상의 원인으로는 과적합, 학습률 설정, 데이터 불균형, 모델의 복잡성 등 여러 가지 요소가 고려된다. 학습률 조정, 데이터 재샘플링, 모델 구조 간소화와 같은 기술적인 조치를 통해 이 문제를 해결할 수 있을 것으로 예상한다.

검증 데이터를 기준으로 훈련 과정에서의 경향을 분석해 변형된 DenseNet 모델에서 정확도가 제일 높은 최적 epoch에서 성능을 표 2에 나타내었다. 90 epoch에서 학습 정확도 99.0%, 검증 정확도 95%로 제일 높은 성능을 보였다.

제안하는 방법과 성능 비교를 위하여 범용적인 CNN 모델 기반의 음질 분류 방법을 수립하였고, 제안하는 방법과 동일 데이터를 사용하여 학습과 검증을 수행하였다. CNN 모델은 그림 4와 같이 6개의 합성곱 계층과 Pooling 계층을 순차적으로 거쳐서, 배치 정규화를 통한 안정화 및 Flatten 계층을 통해 2차원 이미지 데이터를 1차원 벡터로 변환한다. 이어서 완전 연결 계층(Fully-connected Layer)을 통해 고차원 특성을 학습하고, Dropout 계층을 활용하여 모델을 정규화하여 과적합을 예방한다.

Fig. 4. 
Structure of CNN model

그림 5에는 CNN 기반의 음질 분류 방법에 대해 학습 및 검증 데이터를 사용해 훈련하는 과정에서 학습 정확도 및 손실 경향을 epoch 단위로 나타낸 그래프를 도시하였다.

Fig. 5. 
Learning accuracy and loss trends of CNN method

CNN 방법의 학습 과정은 초기 epoch부터 안정적으로 진행되었으며, epoch이 증가함에 따라 학습 정확도가 향상되는 경향을 보였다. 그러나, 몇몇 epoch에서 검증 정확도와 검증 손실의 변동이 관찰되었다. 이러한 변동은 주로 과적합, 데이터 불균형, 모델 복잡성 문제 등으로 해석할 수 있으며, 학습률이나 드롭아웃 조정 등으로 이러한 문제를 해결할 수 있을 것으로 보인다.

검증 데이터를 기준으로 훈련 과정에서의 경향을 분석해 CNN 모델에서 정확도가 제일 높은 최적 epoch에서의 성능을 표 3에 나타내었다. 100 Epoch에서 학습 정확도 92.3%. 검증 정확도 90.3%로 제일 높은 성능을 보였다.

표 1에서 설명한 학습과 검증에 사용하지 않은 평가 데이터를 사용하여 제안하는 방법과 범용적인 CNN 방법에 대한 성능을 평가하였다.

그림 6 및 그림 7에 제안하는 방법과 CNN 방법의 평가 데이터에 대한 정확도 분석 결과를 혼동행렬로 나타내었다. 제안하는 방법은 94.0% 정확도, CNN 방법은 86.7% 정확도를 보여서, 제안하는 방법의 성능이 더 좋음을 알 수 있다. 또한, 두 방법 모두 저음질(LQ) 오디오를 고음질(HQ) 오디오로 분류하는 오류가 HQ 오디오를 LQ 오디오로 분류하는 오류보다 큰 것을 알 수 있다.

Fig. 6. 
Confusion matrix of the proposed method

Fig. 7. 
Confusion matrix of CNN method

제안하는 방법에서 HQ가 LQ로 판단된 57개 데이터를 분석해본 결과, 끊기는 소리, 울리는 소리, 무음 또는 작은 소리 같은 판단하기 힘든 소리가 포함되어 있었다. LQ이 HQ로 판단된 297개 데이터를 분석해본 결과, 모두 직접 녹음한 음성 데이터 및 통화 녹음 데이터였다. 주로 음낮이의 변화가 크게 없거나 말소리가 크게 잘 들리는 음성 데이터였기 때문에, 고음질로 판단되었다고 추정된다.