Home

트랜스포머 인코더에는 순환 특성(Recurrence)이 포함되어 있지 않으므로 입력 데이터의 순서 정보를 모델에 추가해야 한다. 이를 위해 데이터의 위치 순서에 해당하는 일부 정보를 인위적으로 생성하여 입력 데이터에 추가해야 하며 이를 포지셔널 인코딩(Positional encoding)이라고 한다. 포지셔널 인코딩은 식 (1)과 같다. [15]

pos는 입력 데이터 순서열(Sequence)에서의 위치를 나타내며, i는 순서열 데이터의 차원을 나타내며, 그리고 d_model은 어텐션 유닛의 개수를 나타낸다.

트랜스포머 인코더에 사용되는 어텐션 메커니즘을 스케일 내적 어텐션(Scaled dot-product attention)이라고 하며 다음과 같이 정의한다.

식 (2)에서 어텐션 출력은 밸류(Value) 값 V의 가중치 합계로 계산된다. 값에 할당된 가중치는 쿼리(Query) 값 Q와 키(Key) 값 K의 내적으로 계산된다. d_k는 키의 차원이며 T는 행렬의 전치(Transpose)를 의미한다. Q=K=V일 때, 사용된 트랜스포머 인코더의 어텐션 기법을 셀프 어텐션(Self-attention)이라고 한다.

식 (2)의 어텐션 메커니즘을 여러 번 수행하는 방식을 멀티 헤드 어텐션이라 한다. 멀티 헤드 어텐션은 쿼리 값, 키 값, 밸류 값을 선형 변환으로 투영(Project)한 후 어텐션 기법을 수행한다. 이를 통해서 얻은 h개의 서로 다른 어텐션 출력들은 연결(Concatenate)되고 투영되어서 최종 출력이 된다. 멀티 헤드 어텐션은 다음과 같이 정의된다[15].

여기서 WiQ∈Rdmodel ×dk, WiK∈Rdmodel ×dk, WiV∈Rdmodel ×dv, WiO∈Rhdv ×dmodel이며 d_k = d_v = d_model/h 이다.

포지션-와이즈 피드 포워드 신경망(Position-wise feed-forward networks)은 멀티-헤드 어텐션 층 다음에 적용되는 층으로 각 위치에 개별적으로 동일하게 완전 연결 신경망(Fully connected networks)이 적용된다. 해당 네트워크는 2개의 선형 층으로 구성되고 다음과 같이 정의된다[15].

X(t)는 입력 순서열 데이터 X의 t번째 프레임을 의미하고 W1∈Rdmodel ×dff, W2∈Rdff  × dmodel, b1∈Rdff , b2∈ Rdmodel 이다.

본 논문에서 사용한 트랜스포머 모델의 구조는 CRNN을 기반으로 한 특징-피라미드 네트워크를 사용했다[14]. 제안된 모델은 베이스라인 트랜스포머(Baseline transformer), 멀티-스케일 특징 추출(Multi-scale feature extraction) 그리고 분류 층(Classification layer)의 3가지로 이루어져 있으며 구조는 그림 2에 자세히 나와 있다.

Fig. 2. 
Proposed transformer network model

베이스라인 트랜스포머는 7개의 콘볼루션 블록과 하나의 트랜스포머 인코더로 구성되어 있다. 입력으로는 전처리를 통해 만들어진 2차원의 로그-멜 스펙트럼 특징맵(Feature map)이 사용된다. 콘볼루션 블록에서는 3x3의 콘볼루션 필터가 적용되었으며 배치정규화(Batch normalization)가 사용되었다. 배치 정규화 이후 GLU(Gated Linear Unit)가 활성화 함수로 적용되고, 훈련 중 과적합을 줄이기 위해 드롭아웃(Dropout)이 적용된다. 콘볼루션 블록의 마지막 출력은 트랜스포머 인코더의 입력으로 사용된다.

입력 데이터의 시간과 주파수 영역에서의 차원을 위해 주파수와 시간 영역에 {2×2, 1×2, 1×1}의 평균 풀링(Average pooling)이 선택적으로 적용되었다. 이를 통해서 주파수 영역은 하나의 프레임으로 축소되었지만, 시간 영역은 트랜스포머 인코더에서 소리 신호의 시간 상관 정보를 사용하기 위해 62프레임으로 축소되었다. 본 논문의 트랜스포머 인코더는 128의 어텐션 유닛(d_model=128), 16개의 병렬 헤드(h=16), 512개의 내부 포지션-와이즈 피드 포워드 신경망(d_ff=512)으로 구성된다.

멀티-스케일 특징 추출 구간에서는 콘볼루션 블록과 결합한 트랜스포머 인코더 2개가 추가로 사용되었다. 해당 구간에서는 두 번째 트랜스포머 인코더의 출력이 업샘플링(Upsampling) 되고 첫 번째 트랜스포머 인코더의 출력과 Concatenate 방식으로 합쳐진다. 그 후 합쳐진 특징맵에 1x1 콘볼루션이 적용되어 데이터를 더 부드럽게 하고 차원을 감소시킨다. 이 결과물은 다시 한번 더 업샘플링 되고 베이스라인의 트랜스포머 인코더의 출력과 연결 후 1x1 콘볼루션이 적용된다.

이렇게 얻은 멀티-스케일 특징은 분류 층의 입력으로 사용된다. 2,045개의 합성된 오디오 클립으로 구성된 강한 레이블 데이터, 1.548개의 실제 소리를 녹음한 오디오 클립으로 구성된 약한 레이블 데이터, 그리고 14,412개의 실제 소리를 녹음한 레이블이 없는 데이터의 3가지로 분류된다.

실제 소리를 녹음한 오디오 클립은 구글의 오픈소스인 Audioset[19]에서 가져왔으며, 합성된 오디오 클립은 FSD dataset[20]의 끗한 음향 신호와 SINS dataset[21]의 잡음 섞인 음향 신호를 합성한 오디오 클립이다. 오디오 클립의 길이는 10초이며 분류하고자 하는 소리의 종류는 10가지로 가정에서 흔히 발생하는 소리 이벤트로 구성되어 있다. 제안된 방법의 성능 테스트는 DCASE 2019 Challenge task 4의 공식 테스트 데이터 세트인 검증 데이터(Validation data) (1168 clips)와 평가 데이터(Evaluation data) (692 clips)를 사용하여 진행했다.

사용자 설정 파라미터로, 배치의 크기는 128개이며, Optimizer는 Adam[22]을 사용하였고 Learning rate는 0.001로 설정하였으며 Pytorch의 StepLR scheduler를 학습 Iteration동안 학습률을 줄이기 위한 방법으로 사용했다. 배치 당 입력 데이터의 비율은 강한 레이블, 약한 레이블, 레이블이 없는 학습 데이터를 각각 1:1:2의 비율로 설정했다. 학습은 3100번의 Mini-batch iteration steps만큼 진행되었다.

트랜스포머 모델의 학습은 약한 레이블과 강한 레이블 데이터로만 진행하였다. 트랜스포머 모델의 인코더 블록의 수(NEB, Number of Encoder Blocks)가 성능에 미치는 영향을 조사하기 위해 블록의 수를 1에서 3까지 변경하면서 실험했으며 테스트 결과의 신뢰성을 확보하기 위해 각 조건에서 실험(훈련/테스트)을 10회 수행한 후 결과들의 평균을 통해서 F-Score와 Error Rate(ER)을 구하였다.

표 1에서는 멀티-스케일 특징의 사용과 후처리 과정(Post processing)의 유무에 따른 검증 데이터에 대한 이벤트 기반 SED 결과를 볼 수 있다. 후처리 과정은 일정한 임계값(0.5)에 따라 네트워크의 출력을 이진화한 후, 중간값 필터링(Median filtering)을 적용했다. 중간값 필터링을 적용하는 프레임의 길이는 소리 클래스에 따라 달라지며 이러한 방식은 길이가 고정된 필터를 사용하는 것보다 모델의 성능을 더 향상시키는 것으로 확인되었다[18]. 표 1의 결과에서는 멀티-스케일 트랜스포머가 후처리 적용 여부에 관계없이 베이스라인 트랜스포머의 성능을 능가하지만, 후처리를 적용했을 경우에는 전체적인 성능이 훨씬 우수하다는 것을 알 수 있다. 인코더 블록의 수가 다양하게 변해도 안정적인 F-score를 나타내는 멀티-스케일 트랜스포머에 비해 베이스라인 트랜스포머는 인코더 블록의 수가 변화함에 따라 성능이 크게 변동한다. 멀티-스케일 특징을 사용하는 것이 트랜스포머 모델을 더 견고하게 하고 성능을 향상시킨다고 할 수 있다. 후처리를 적용하지 않았을 때 평균 F-score가 베이스라인 트랜스포머에서는 26.51%인 반면 멀티-스케일 트랜스포머는 27.79%를 달성하였으며, 4.8%의 상대적인 F-score 향상을 얻을 수 있었다.

NEB=2일 때는 베이스라인 트랜스포머가 멀티-스케일 트랜스포머보다 F-Score가 더 높지만, NEB=1일 때는 성능이 크게 저하되어 평균 F-score가 더 낮게 나오는 것을 알 수 있었다. 후처리를 사용할 때도 비슷한 결과를 관찰할 수 있었으며 ER에서는 성능 향상이 충분히 크지 않은 것을 확인하였다.

표 2는 평가 데이터를 사용했을 때 SED 결과를 보여주며, 표 1과 대부분 유사한 경향을 관찰할 수 있었다.

후처리 과정을 거치지 않은 베이스라인 트랜스포머의 평균 F-score는 31.29%인 반면 멀티-스케일 트랜스포머는 34.26%를 나타내었으며, 상대적인 성능 향상이 9.5%로서 표1의 검증 데이터에 비해 증가하였다. 표 1, 표 2 모두에서 후처리 과정을 적용하지 않았을 때 멀티-스케일 특징의 효과가 더 많이 나타나는 것을 확인할 수 있었다.