Mc-pseudo 라벨링 방식을 활용한 화재 데이터 자동 생성에 관한 연구

2.1 자기 학습(Self-training)

자기 학습이란 이름에서도 알 수 있듯 "스스로 학습"하는 방식 알고리즘이다. 자기 학습하는 방식은 바로 가짜라벨을 통해서다. 선 진행된 학습 모델을 통하여 라벨이 되어있지 않는 데이터에 대한 가짜라벨을 생성하고, 이를 GT(Ground Truth)처럼 생각하고 현재 모델을 학습시키는 것이다.

준지도 학습(SSL)의 한 방법이며, 실제로도 준지도 학습에서 주요 학습 방법으로 많이 사용되고 있다. 그러나 자기 학습의 단점은 초기 학습 데이터가 부정확할 경우 가짜 라벨링의 부정확으로 이어져 결국 잘못된 편향이 발생하여 전체 모델에게 악영향을 주게 되는 점이다. 그림 2가 대표적인 자기 학습 방식인 가짜라벨의 기본 개념도이다[4].

Fig. 2.

Self-training basic concept diagram

2.2 몬테카를로 방법

몬테카를로 방법(Monte Carlo method) 또는 MC(Monte Carlo) 드롭아웃은 반복된 무작위 추출(Repeated random sampling)을 이용하여 함수의 값을 수리적으로 근사하게 예측 값을 구하는 알고리즘이다. 이를 통해 불확실성(uncertainty)을 추정할 수 있다. 몬테카를로 드롭아웃은 베이지 룰의 한 방법이다. 다음 세 가지 확률로 베이지를 정의할 수 있다. 사후확률(Posterior(P(w_i|x)))은 특징(x)가 주어졌을 때 특정 클래스에 속할 확률을 말하며, 가능도(Likelihood(P(xvertw_i)))는 특징(x)가 어느 정도 분포로 되어 있는지의 정보를 말하며, 사전확률(Prior(P(w_i)))은 특징(x)와 관계없이 각 클래스의 비율이 얼마나 되는지를 나타내는 값이다. 몬테카를로 드롭아웃의 궁극적 목적은 사후확률(Posterior(P(w_i|x)))을 구하는 것이다.

기존의 딥러닝 모델들은 하나의 입력에 대해 하나의 출력 결과를 도출하는 방식이었다. 즉 점 추정 방식으로 우리가 사용하고 있는 딥러닝은 Softmax의 argmax(P(xvertw_i))를 만족하는 하나의 가중치 포인트 wi을 찾는 문제이다. 반면 몬테카를로 방법은 P(w_i|x), 즉 사후확률 그 자체를 구하는 것이다. 몬테카를로 드롭아웃은 하나의 입력에 대해 여러 번 출력을 얻고, 이 여러 출력의 분포를 구하는 것으로 볼 수 있다. 이 경우 출력의 분포에서 나오는 분산 값의 넓이를 불확실성이라 추정할 수 있다[5].

불확실성을 구하는 여러 방법 중에서 가장 많이 사용되는 방법이 몬테카를로 방법이다. 몬테카를로 드롭아웃에서는 필요에 따라 각 드롭아웃 층을 활성화한 후 모델을 학습한다. 그러나 기존의 드롭아웃과 달리, 추론 시에도 드롭아웃을 활성화해, 뉴럴 네트워크의 가중치를 샘플링하는 방식이다. 이를 통해 여러 번의 출력 값을 구한다. 이렇게 나온 출력 값들의 예측 분포를 사후확률에서 샘플링 된 분포의 결과를 보고, 불확실성의 분포를 계산할 수 있다[6]. 그림 3에는 몬테카를로 드롭아웃 방식에 대한 개념 이미지를 표현하였다.

Fig. 3.

Monte Carlo dropout method

2.3 Meta pseudo 라벨

가짜라벨은 teacher, student로 한 쌍의 네트워크를 구성하고 있다. teacher는 unlabeled 데이터에 가짜라벨을 생성한다. 그 이후 가짜라벨이 할당된 데이터와 labeled 데이터를 합쳐 student를 학습시킨다. 이때 가짜라벨 데이터에 정규화를 위해 데이터 증강과 같은 방법이 사용된다. 그러나 가짜라벨은 이름에서 알 수 있듯 라벨이 정확하지 않기 때문에 student는 정확하지 않은 데이터로부터 학습이 되는 것과 같다. 그 결과 student는 teacher보다 매우 높은 성능을 가지기 힘들다.

Meta pseudo 라벨에서는 가짜라벨이 student에 어떤 영향을 끼치는 영향을 분석한다. 그 후 student로부터 정보를 받아 더 좋은 가짜라벨을 teacher가 생성하는 방법인 Meta pseudo 라벨라는 방법을 제안하였다[7]. 그림 4에는 Meta pseudo 라벨 동작원리를 표시하고 있다. 가짜라벨은 unlabeled 데이터로 부터 교차 엔트로피 손실을 최소화하는 방향으로 학습한다. 이것을 수식으로 표현하면 식 (1)과 같다.

Fig. 4.

Meta pseudo labels operation principle

T(x_u;θ_T) : Prediction of teacher on unlabeld data
S(x_u;θ_S) : Prediction of student on unlabeld data
S(x_l;θ_S) : Prediction of student on labeled data
CE(q,p) : cross-entropy

student의 최적 파라메타 θ_S^PL은 항상 가짜라벨인 T(x_u;θ_T) 때문에 teacher의 파라미터 θ_T에 의존한다. Meta pseudo 라벨을 효과적으로 설명하기 위해 θ_S^PL(θ_T)의 의존성을 알아야 한다. 그리고 L_l(θ_S^PL(θ_T))는 θ_T의 함수이며, L_l(labeled 데이터 loss)를 θ_T의 관점에서 최적화하는 것은 식 (2)와 같이 표현할 수 있다.

식 (2)를 직관적으로 보면 labeled 데이터 모델로부터 얻은 student의 결과에 따라 teacher를 최적화함으로써 가짜라벨의 student의 성능도 높일 수 있다.

3.1 Mc-pseudo 라벨링을 활용한 자기 학습

최근 AI 딥러닝 모델에서 준지도 학습 방식은 Meta pseudo 라벨 논문 이후 teacher가 더 좋은 가짜라벨을 생성할 수 있도록, teacher가 지속해서 student network로부터 정보를 받아 파라미터를 조정하는 방식이다. 즉, student만 teacher를 통해서 배우는 것이 아니라, teacher도 student를 통해서 배움으로써 학습 파라미터를 최적화하는 방식이다. 그러나 이 모델 역시도 초기의 잘못된 파라미터가 가짜라벨에 영향을 주는 것을 막을 방법이 없다.

이를 근본적으로 개선하기 위해서는 초기 화재 labeled 데이터로 학습한 모델이 가짜 라벨링을 할 때 잘못된 라벨 데이터를 걸러내는 것 말고는 방법이 없다. 이것을 수작업으로 진행한다면 자기 학습 방식이라고 이름하지 않았을 것이다. 지금까지는 초기 바이어스까지 개선이 필요할 정도로 정확도가 높지 않았다면 현재는 초기 바이어스가 성능 향상에 결정적 역할을 할 시점이 도래했다.

본 연구에서는 초기에 잘못된 바이어스가 파라미터에 미치는 영향을 최소화하기 위해 그림 1과 같이 기존 teacher(CNN: 모델추론) 외에 tutor(MC -dropout: 추론 안정성)를 추가하여 초기에 잘못된 바이어스 정보가 화재 데이터에 유입되는 것을 최소화하였다. 그림 5에는 Mc-pseudo 라벨링을 활용한 자기 학습 전체 개념도이다. CNN + MC-dropout:의 의미는 teacher(Darknet: 추론 확률)와 tutor(Mc-pseudo: 추론 분포)를 의미한다[8].

Fig. 5.

Self-training step-by-step method using Mc-pseudo labeling

Darknet은 labeled 데이터를 이용하여 초기 학습을 진행하고 학습의 파라미터를 안정화하기 위하여 학습된 모델을 기반으로 아키텍처를 fine-tuning으로 업데이트하였다. 그리고 Darknet은 최적의 모델을 활용하여 1차 unlabeled 데이터에 가짜 라벨링을 진행한다. Darknet이 초기 진행한 화재 pseudo labeled 데이터는 데이터의 부족으로 충분히 잘못된 labeled 데이터가 있을 수 있다. 그때 Mc-pseudo labeling을 활용하여 Darknet이 표시한 라벨링의 불확실성 분포를 예측하고 불확실성이 높은 특정 라벨링에 대해서 정보를 Darknet에 전달하고, Darknet은 불확실성이 높은 라벨에 대해서는 라벨링을 보류 또는 변경하는 방식으로 1차 Guessed labeled 데이터를 student에 학습용으로 활용한다.

student(CNN: 모델 학습)는 labeled 데이터(5,565개)와 1차 Guessed labeled(labeled의 반) 데이터를 합쳐서 학습을 진행한다. 이때 생성된 모델을 활용하여 학습의 파라미터를 안정화하기 위하여 fine-tuning으로 업데이트한다. 그리고 이 데이터를 활용하여 2차 unlabeled 데이터(labeled의 반)를 초기와 동일하게 teacher(Darknet: 추론 확률)를 활용하여 가짜 라벨링을 진행하고, tutor(Mc-pseudo: 추론 분포)를 이용하여 Darknet이 표시한 BB(Bounding box) 라벨링의 불확실성 분포를 예측하고 불확실성이 높은 특정 라벨링에 대해서는 Darknet에서 라벨링을 보류하는 방식으로 학습의 정확도를 개선하는 방식이다. 그리고 loss가 안정될 때까지 반복적으로 teacher(Darknet: 추론 확률) → tutor(Mc-pseudo: 추론 분포) → student(CNN: 모델 학습) → teacher(Darknet: 추론 확률) → ··· 순으로 자기 학습을 진행한다.

3.2 BB(Bounding Box) 불확실성 판단

몬테카를로 드롭아웃의 가장 큰 단점은 사후확률(posterior)을 계산할 수 없는데 있다. 몬테카를로 드롭아웃은 신경망에서 순방향 학습 시, 네트워크를 드롭아웃 하여 딥러닝의 정규화 효과를 주는 방법이다. 기존에는 추론 시 드롭아웃을 사용하지 않았지만, 몬테카를로 드롭아웃에서는 추론 시에도 드롭아웃을 그대로 유지하여 여러 개의 추론 값을 만들어 내고 그 추론 값의 평균을 이용하여 사후확률인 P(w_i|x)를 P(w_i|x) ≈ P(w_i)로 근사화를 유도하였다[9].

본 논문에서는 몬테카를로 드롭아웃 방식을 활용하여 불확실성의 분포를 계산하는 방법을 적용하였다. 학습이 증가할수록 초기에 잘못된 바이어스가 유입되는 것을 차단하기 위하여 tutor(Mc-pseudo: 추론 안정성 검증)를 통하여 지속적이고 중복적으로 사후확률인 P(w_i|x)를 구하였다[10][11]. 그리고 tutor(Mc-pseudo)는 결정론적인 가중치를 가지지 않고, 가중치의 정규 분포로부터 labeled 데이터의 불확실성을 라벨마다 BB(Bounding Box)를 추론하는 방식을 사용했다. 좀 더 상세히 설명하면 Darknet에서 예측(확률) 결과로 생성된 가짜 라벨 데이터에서 BB의 IOU를 계산하고, Mc-pseudo 라벨링에서는 불확실성(분포)으로 생성된 화재 가짜 라벨 데이터의 IOU를 서로 비교하여 동일한 크기와 위치의 IOU에 대해서만 추론의 정확성을 비교 판단하였다. 그 후 Darknet과 Mc-pseudo 라벨링의 정확도를 비교하여 추론 판단을 보류하거나 변경하였다. 그림 6에는 Mc-pseudo 라벨링의 불확실성을 활용한 BB의 IOU 판단을 비교 추론하는 방법을 도식화했다.

Fig. 6.

B/B determination method using MC-dropout's uncertainty

4.1 실험 결과

초기 5,556개의 labeled 데이터를 기준 데이터로 활용하여 CNN(Darknet-53)으로 학습을 진행하였으며, 화재 데이터의 라벨링 정확도와 화재 인식률 확인을 위해 객체 검출용으로 Yolov4를 사용하였다. 그중 화재 데이터의 라벨링은 ADG(Auto data generation) 방식을[13] 활용하여 자동 라벨링이 생성되도록 하였다. 표 3에는 단계별로 사용된 unlabeled 데이터 수량, Mc-pseudo 라벨링 한 수량과 학습에 사용된 전체 이미지 수량을 표시하였다. unlabeled 데이터 수량 대비 Mc-pseudo 라벨링에서 수량이 적은 이유는 불확실성(분포)의 크기가 80%를 넘을 경우에만 라벨링의 IOU를 서로 비교하여 해당 라벨링만 추론 판단을 보류하거나 변경하므로 라벨링이 없는 이미지가 발생했다. 이 라벨링이 없는 이미지를 삭제하여 전체 수량에서 차이를 보인다.

Table 3.

Mc-pseudo labeling dataset generationresults

표 4에는 단계별로 초기 정답 라벨 데이터를 활용하여 Mc-pseudo 라벨링 한 결과에 대해서 화재 데이터를 기준으로 5차에 걸쳐 인식률 변화 결과를 loss, mIOU, mAP 순으로 표기하였다. 그 결과 초기 대비 mAP@50 기준으로 23.55% 개선된 86.22%로 개선된 결과를 얻었다.

Table 4.

The result of checking the recognitionrate using Mc-pseudo labeling

가중치 값이 확률로 존재하는 Darknet-53과는 달리 Mc-pseudo 라벨링은 분포로서 존재하므로 같은 이미지라 할지라도 매번 결과가 다르게 나온다. 이 분포의 넓이가 불확실성의 크기를 표현하는데 학습 데이터가 부족한 부분에서 불확실성이 커지는 것을 알 수 있다.

표 5에는 차수별로 Mc-pseudo 라벨링의 불확실성이 분포가 클 경우(80% 이상)에는 false로 판단하여 화재 라벨링을 보류한 횟수를 표시하였다. 실험 결과에서 알 수 있듯이 Mc-pseudo 라벨링의 불확실성은 초기에 증가하다 학습이 안정될수록 입력 대비 약 3.7% 정도로 안정되는 것을 볼 수 있다.

Table 5.

Uncertainty confirmation results usingMc-pseudo labeling

표 6에는 화재 데이터 증강을 목적으로 연구한 3가지 모델을 이용하여 비교 실험한 결과를 표시하였다. 수동(manual) 방식은 사람이 수작업으로 화재 데이터 36,749개를 손 라벨링 한 것을 의미하며, F-guessed 방식[12]은 단계적 자기 학습 방식을 활용한 자동 가짜 라벨링 방식이며, F-guessed + Similar-labeled 방식은 초기 데이터 부족 시 잘못된 바이어스가 파라미터에 영향을 주는 것을 방지하기 위하여 ROI 방식을 적용하여 특정 영역 내에 포함된 IOU는 모두 동일한 분류 가진다고 가정하여 화재 동영상에서 ROI(Region of Interest) 영역을 정하여 동일한 라벨링으로 처리하는 방식이다.

Table 6.

Measurement results according to dataaugmentation method

이렇게 하면 초기 바이어스가 안정되는 모습을 보이나 초기에 한번은 ROI를 정하는 불편함이 있다. 끝으로 이번에 제안하는 Mc-pseudo 라벨링 (F-guessed + MC-dropout) 방식은 자기 학습을 바로 하기 위해서는 teacher도 잘못된 정보로 학습할 수 있다는 가정하에 tutor를 통하여 한 번 더 불확실성을 검증한 후 학습하는 방식이다. 표 6에는 모델별로 실험한 결과를 수량, loss, mIOU, mAP@50 기준으로 표시하고 있다.

그 결과 수동(manual) 대비 loss는 2.38에서 1.22로 약 1.7% 개선이 되었으며 mIOU는 69.42에서 78.51로 9.09% 개선이 되었으며 mAP@50은 78.34에서 86.22로 약 8% 개선된 결과를 얻었다.

그림 7에는 수동으로 라벨링 한 이미지와 이번에 제안한 Mc-pseudo 라벨링 이미지 중 큰 변화가 있는 3개 이미지만 모아 상세히 설명한다. 이미지 2의 경우에는 수동 방식에서는 연기와 불의 경계면에서 연기를 표시하였으나 Mc-pseudo 라벨링에서는 불과 연기를 확실히 구분하여 경계를 표시하였다. 나머지 2개의 불은 동일하게 표시하였다. 이미지 3의 경우에는 연기는 둘 다 비슷하게 표현했으나 불의 경우에는 수동 방식에서는 동일한 불을 3가지로 구분하여 화재로 판단하였고, Mc-pseudo 라벨링에서는 한가지 BB로만 불을 표현하였다. 이유는 사람이 수동으로 라벨링 할 때 세부적으로 구분하였으니 Mc-pseudo 라벨링에서는 불확실한 BB에 대해서는 제외하여 불확실성이 낮은 경우만 BB를 유지하여 그렇게 된 것으로 판단된다.

Fig. 7.

Differences in inference results between Mc-pseudo labeling and manual labeling

이미지 9의 경우에는 수동 방식에서는 화재를 4가지로 구분하여 세부적으로 판단하였지만, Mc-pseudo 라벨링에서는 화재를 2가지로 구분하였고, 화재로 구분 가능한 이미지에 대해서는 확실한 경계를 구분하지 못하여 기존 수동 방식과 추론에서 차이를 보인다. 그러나 연기에 대해서는 둘 다 동일하게 바로 인식하고 있다. 3가지를 제외한 나머지 이미지에 대해서는 비슷한 결과를 보인다.

그림 8에는 표 6에서 실험한 4가지 (manual, F-guessed, F-guessed + Similar- labeled, Mc-pseudo 라벨링) 증강 방식에 따라 학습이 완료된 최종 가중치 값을 사용하여 화재 이미지별로 테스트한 결과를 모두 표시하였다.

Fig. 8

Images with different inference results from CNN and BNN