F-guessed 방식과 준지도 학습을 이용한 화재 데이터 생성 및 인식률 개선 연구

2.1 준지도 학습의 이해

적은 정답라벨 데이터가 있으면서 추가로 활용할 수 있는 많은 정답이 없는 라벨 데이터가 있다면, 준지도 학습을 고려할 수 있다. 준지도 학습은 소량의 정답라벨에는 지도학습을 적용하고, 많은 양의 정답이 없는 라벨에는 비지도 학습(Unsupervised learning)을 적용해 추가적인 성능향상을 목표로 하는 학습 방법이다.

준지도 학습은 바로 정답 데이터를 수집하고, 라벨링’ 작업에 드는 많은 자원과 비용을 줄이기 위해 등장하게 되었다. 준지도 학습은 라벨의 정답을 맞히는 모델에서 벗어나 데이터 자체의 본질적인 특성이 모델링 된다면 소량의 정답라벨 데이터를 통해 적은 양의 학습으로도 일반화 성능을 끌어올릴 수 있다는 것이다.

준지도 학습의 목적함수는 지도학습 손실 ℒs와 비 지도학습 손실 ℒu의 합을 식 (1)과 같이 최소화하는 것으로 표현할 수 있다. 즉, 지도학습과 비 지도학습을 1-stage로 한 번에 학습한다. 이것이 2-stage로 이루어지는 자기 지도학습(Self-supervised learning)과 전이학습(Transfer learning) 등과의 차이점이다[5].

정답이 없는 라벨을 어떻게 학습에 사용할 것이냐의 관점에서 다양한 준지도 학습의 방법론들이 등장하였다. 그중 현재 제안한 기술과 유사한 Pseudo labeling 방식과 MixMatch 그리고 FixMatch에 대해 먼저 알아보자.

① Pseudo labeling은 지도학습을 통해 일차적으로 학습된 모델을 이용하여, 라벨링 되지 않은 데이터에 대해 예측을 수행한다.

수행된 예측 결과를 이용해 가짜(Pseudo)로 라벨링 한다고 하여 Pseudo labeling이라고 한다. 따라서 Pseudo labeling을 수행하기 위해서는 학습된 모델이 있어야 하고, 정답이 없는 라벨 데이터가 있어야 한다. 정답이 없는 라벨에 대해서 Pseudo labeling을 한 후에 이 확장된 데이터 세트를 이용하여 2차 학습을 수행하는 방식이다. 그림 2에 Pseudo labeling 수행방식을 그림으로 표시하였다[1][6].

Fig. 2.

Pseudo labeling operation

② MixMatch는 정답라벨 데이터(X)와 정답이 없는 라벨 데이터(U)를 주면, 처리된 정답라벨 샘플(X')와 예측 정답라벨(Guessed labeled)(U’)을 생성한다. 그리고 공식적으로 준지도 학습에 대한 결합 손실 ℒ은 다음 식 (2)와 같이 정의된다[7][8].

H(p, q)는 분포 p와 q 사이의 교차 엔트로피이고, T, K, α, λ_U는 하이퍼 파라미터이다. MixMatch는 Entropy minimization, Label consistency regularization 및 Mixup을 모두 적용한 방법이다. 그림 3에 MixMatch 구현 방식을 도식화하였다.

Fig. 3.

MixMatch operation

- Entropy Minimization : 분류기가 정답이 없는 라벨 데이터의 예측 엔트로피를 최소화하는 것으로, Entropy minimization의 방법 중에는 Pseudo-labeling이 있다.

- Mixup : 증강이 완료된 정답라벨과 정답이 없는 라벨을 섞고, 그 데이터에 대하여 정답과 정답이 없는 라벨 데이터 이미지를 서로 겹치는 방식이다.

- Consistency regularization : 정답라벨과 정답이 없는 라벨 데이터를 사용하여 데이터를 학습하는데, 비슷한 데이터 혹은 약간 변형한 데이터를 가지고 학습시켰을 때 예측 결과가 비슷하게 나와야 한다는 의미이다.

③ FixMatch : 크로스 엔트로피 손실을 사용하여 정답라벨 이미지에서 지도학습 모델을 훈련하는 방식이다. 정답이 없는 라벨의 각 이미지에 대해 약한 증강과 강한 증강 방식을 적용하여 두 개의 이미지를 얻는다. 약하게 증강된 이미지가 모델에 전달되고 클래스에 대한 예측을 얻어서 가장 자신 있는 클래스의 확률은 임계값과 비교한다. 임계값 보다 높으면 해당 클래스를 기본 레이블 즉 Pseudo-label로 사용하는 방식이다. 그런 다음 강하게 증강된 이미지가 모델을 통해 전달되어 클래스에 대한 예측을 진행한다. 이 예측은 정답 Pseudo-label과 비교하는 크로스 엔트로피 손실로 사용한다. 이때 두 손실이 결합하고 모델이 최적화된다. 그림 4에 FixMatch 구현 방식을 도식화하였다[9].

Fig. 4.

FixMatch operation

2.2 Fine-tuning

Fine-tuning이란 기존에 학습된 모델을 기반으로 아키텍처를 새로운 목적으로 이미지 데이터에 맞게 변형하고 이미 학습된 모델 가중치(weight)로부터 학습을 업데이트하는 방법을 말한다. 즉 딥러닝에서 이미 존재하는 모델에 추가 데이터를 투입하여 파라미터를 업데이트하는 것을 말한다. 좀 더 상세하게 설명하면, Fine-tuning은 정교한 파라미터 튜닝이라고 생각하면 되는데, 정교한 기술과 파라미터가 핵심이다. Fine-tuning을 완료하기 위해서는 기존에 학습된 레이어 내 데이터를 추가로 학습시켜 파라미터를 업데이트해야 한다. Fine-tuning을 할 때 주의할 점은 정교해야 한다.

완전히 랜덤한 초기 파라미터를 쓴다거나, 가장 아래쪽의 레이어 즉, 일반적인 특징을 학습한 덜 추상화된 레이어의 파라미터를 학습해버리면 오버피팅이 일어나 전체 파라미터가 붕괴하는 문제가 생기기 때문이다. Fine-tuning은 전이 학습의 한 분류이다. 사전 훈련된 모델을 자신의 필요에 맞게 용도 변경하려면 그림 5와 같이 네 가지 전략 중 한 가지 모델로 미세 조정해야 한다[10].

Fig. 5

Types of fine-tuning

1사분면은 큰 데이터 세트이지만 사전 훈련된 모델의 데이터 세트와 다르다. 데이터 세트가 크기 때문에 처음부터 모델을 훈련하고 원하는 모든 작업을 수행할 수 있다. 2사분면은 사전 훈련된 모델의 데이터 세트와 유사한 대규모 데이터 세트를 사용한다. 데이터 세트가 크기 때문에 과적 합이 문제가 되지 않아 원하는 만큼 학습할 수 있다. 3사분면은 사전 훈련된 모델의 데이터 세트와 달리 작은 데이터 세트를 활용한다. 훈련할 레이어 수와 동일한 레이어 수 사이의 균형을 찾는 것이 어렵고, 더 깊이 들어가면 모델이 과적합 될 수 있다. 4사분면은 작은 데이터세트이지만 사전 훈련된 모델의 데이터 세트를 모두 사용한다. 마지막 FC(출력 계층)만 변경하고 새 분류기를 훈련하면 되는 방식이다[11].

3.1 F-guessed 방식

기존 준지도 학습 방식은 단순히 사전 학습된 모델을 이용하여 주어진 정답이 없는 라벨을 예측하는 방식이거나, 데이터 증강을 통하여 정답이 없는 라벨 데이터를 충분히 확보한 후 학습 모델을 통하여 예측하는 방식으로 크게 2가지로 구분된다. 즉 기존 연구들은 데이터 확보 후 기존 학습 모델을 이용하여 예측(Guessed)에 초점을 맞추었다. 본 논문에서는 기존과 같이 정답라벨 데이터를 이용하여 사전 학습 모델을 생성하는 방식은 동일하나, 사전 학습 모델들의 인식률을 증가시키기 위하여 Fine-tuning을 통하여 파라미터를 업데이트하는 부분에서 차이가 있다.

즉 기존에 학습된 레이어를 추가로 학습시켜 파라미터를 업데이트하여 최적화 과정이 추가된 것을 말한다. Fine-tuning은 기존 신경망을 활용한 재학습 및 최적화 과정을 의미한다. 기존 학습모델의 정교한 파라미터 튜닝을 한 후 정답이 없는 라벨 데이터를 예측(Guessed)하면 더욱 정답라벨과 유사한 라벨을 예측할 수 있기 때문이다. 이렇게 하면 MixMatch, FixMatch 등과 같이 별도의 이미지 처리 없이 정답이 없는 라벨 데이터에 대한 라벨링의 정확성이 향상되며, n차 예측(F-guessed) 데이터와 정답라벨을 이용하여 학습 모델의 정규화가 가능해진다. 그림 6에는 Fine-tuning과 준지도 학습을 이용한 화재 데이터 생성 개념도를 표현하였으며, 그림 7에는 F-guessed 최적화 방식에 대한 개념을 그림으로 표현했다[10][12].

Fig. 6.

Conceptual diagram of fire data generation using fine-tuning and semi-supervised learning

Fig. 7.

F-guessed optimization method

그리고 F-guessed 방식은 새로운 데이터가 추가될 때마다 추가 Fine-tuning을 매번 진행하도록 설계되어 있으며, 추가 Fine-tuning 한 학습 결과를 이용하여 기존 정답이 없는 라벨과 신규 정답이 없는 라벨 데이터를 재혼합하여 새로운 예측 모델을 만들게 하였다. 이렇게 진행하면 1회 학습 데이터의 신경망을 활용한 재학습 과정보다도 더 의미 있고, 정교한 파라미터 튜닝이 전체 정답이 없는 라벨 데이터 이미지(기존 Unlabeled data + 신규 Unlabeled data)를 재예측하여 더욱 정답라벨과 유사한 라벨을 예측이 가능하기 때문이다. 그리고 이렇게 중복적인 F-guessed 방식은 손실이 더 이상 감소하지 않는 범위까지 계속 진행하도록 설계하였다.

3.2 중복적 라벨링

중복적 라벨링 방식을 적용하는 이유는 화재 인식률 개선이 목적이다. 기존의 준지도 학습 방식은 정답이 없는 라벨과 정답라벨을 사용하여 이미지 Mixup 방식 등을 활용하여 정답라벨과 예측 결과가 비슷하게 출력되는 방식으로 인식률을 개선하였다. 그리고 정답이 없는 라벨과 정답라벨 데이터 모두에 대해서 라벨링이 변경되는 방식이었다. 하지만 본 연구에서는 정답라벨은 정답이 없는 라벨과 라벨링 혼합 및 학습을 위해 데이터 공유는 하지만 정답라벨의 라벨링은 변형을 주지 않고 계속 유지하게 하였다. 하지만 정답이 없는 라벨에 대해서는 차수가 진행될수록 라벨링이 변형이 계속 진행이 되는 방식으로, 1차 학습 라벨링은 n차 학습 라벨링을 진행할수록 더욱 정답라벨과 유사한 라벨을 예측이 가능하도록 설계하였다. 즉 중복적 라벨링 방식은 다음과 같이 3가지 특징으로 간단히 설명될 수 있다[3].

① 정답라벨(Labeled data)은 준지도 학습을 위해 학습 차수와 관계없이 학습데이터로만 활용하고, 데이터나 라벨링 변형이 이루어지지 않는다. 즉 GT(Ground Truth) 및 Teacher로 활용한다.

② 정답이 없는 라벨(Unlabeled data)은 준지도 학습을 위해 학습 차수에 따라 항상 최종 예측 라벨링이 적용되도록 설계하였다. 즉 항상 Student로 활용하였다.

③ 정답라벨 + 예측(F-guessed) 데이터는 준지도 학습용 새로운 모델을 생성하기 위하여 정답라벨과 정답이 없는 라벨을 모두를 합치고 섞는 작업을 중복적으로 진행하며, 이 학습 가중치 값을 활용하여 새로운 Fine-tuning을 진행한다[13][14].

그림 8에는 중복적 라벨링에 대한 개념도이다.

Fig. 8.

Learning method with overlapping labeling

3.3 데이터 증강 및 인식률 개선

준지도 학습 방식을 통한 인식률 개선을 위해 앞서 제안한 F-guessed 방식과 중복적 라벨링 방식 외에 화재 정답라벨을 확보하기 위해 CycleGAN 방식과 알파 블렌딩(Alpha blending) 방식을 활용하였다. 현재 인터넷의 화재 데이터는 모두 대형 화재 위주로 화재가 발생하는 초기 데이터 확보가 어려워 CycleGAN 방식을 이용하여 특정 상황에 맞는 화재 데이터를 생성하고(예를 들면 사무실 내부 화재 등), 알파 블렌딩 방식을 통해서는 특정 위치의 초기 화재 발화 이미지 데이터를 생성하였다[4].

이렇게 증강된 데이터와 인터넷 데이터를 병합하여 초기 화재 정답라벨 데이터를 확보하였다. 그리고 인식률 개선을 위해 한 번에 많은 데이터를 확보하여 학습시키는 것 보다는, 초기 데이터보다 반 정도 적은 또는 적은 수량의 정답이 없는 라벨 데이터를 추가하고 학습을 반복하는 게 인식률 개선에 도움이 된다는 것은 실험을 통하여 알게 되었다. 그리고 정답이 없는 라벨의 추가 횟수는 무한정 반복보다는 손실의 변화량이 적거나 미미할 때 멈추게 하였다. 모델 분류 정확도(Classification accuracy)가 높다고 객체 탐지 정확도(Detector accuracy)가 높은 것이 아니므로 화재 객체 탐지 실수가 최소화가 되도록 일부 추가 데이터에 Mixup 방식과 Mosaic 방식을 적용하였다.

Mixup 방식은 데이터 증강 기법의 하나로 두 이미지를 일정 비율로 섞어 새로운 데이터를 생성하는 방법이다. Mixup을 이용하면 클래스 중간에 위치하는 데이터에 대해 과도하게 확신하지 않기 때문에 성능이 향상될 수 있다. 또한 Mixup을 활용하면 데이터의 라벨이 잘못된 경우에도 기존 학습 방법보다 쉽게 대처가 가능하다. 그리고 Mosaic 증강 방식은 4장의 이미지를 합치지만 무작위로 잘라 붙이기보다는 크기만 조정하여 이미지가 버려지는 영역 없이 다 활용하였다. 그림 9는 이렇게 확보된 화재 데이터를 활용하여 정답라벨 데이터를 구축하고 활용하는 방식을 그림으로 정리하였다.

Fig. 9.

How to augment and use data

4.1 실험 결과

초기 정답라벨 데이터는 준지도 학습을 위하여 초기 학습이 진행된 결과를 이용하여 표 2에 주어진 정답이 없는 라벨 데이터를 재예측하여 정답라벨과 유사한 예측이 가능하도록 5차에 걸쳐 진행하였다. 이렇게 F-guessed를 매번 진행하면 n차 학습 데이터의 신경망을 활용한 재학습 과정보다도 더 의미 있고, 정교한 파라미터 튜닝이 전체 정답이 없는 라벨 데이터 이미지에 가능하기 때문이다. 4~5차 데이터는 AI Hub의 화재 data를 활용하였다[15]. 그리고 학습은 Darknet 53을 이용하였으며, 화재 객체 검출은 Yolov4[16]를 사용하였다. 그림 10에는 학습을 위한 네트워크 구성 및 학습 순서를 그림으로 정리하였다. 그리고 학습을 위해 Max_batches = 80,000으로 설정하여 실험을 진행하였다.

Table 2.

Pseudo labeled data set augmentation information

Fig. 10.

Experimental network configuration

그 결과 표 2에는 F-guessed와 준지도 학습을 이용한 화재 데이터 생성 전체 이미지 수량을 표시하였다. 실험 결과 이미지는 초기 정답라벨 데이터 5,565개를 기준으로 6.3배 증가한 35,322개의 Pseudo 정답라벨 데이터를 확보한 결과를 얻었다.

표 3에는 초기 정답라벨 데이터 학습 모델로부터 Pseudo 정답라벨 데이터가 완료된 화재 데이터를 기준으로 5차에 걸쳐 F-guessed와 준지도 학습을 이용한 화재 인식률 변화 결과를 Loss, mIOU, mAP 순으로 표시하였다. 테스트 결과 초기 정답라벨 데이터 대비 Loss는 최대 1.94% 감소하였으며, mIOU는 26% 증가하였고, mAP@0.5는 16.56%가 개선된 결과를 얻었다. 그리고 5차 이후 추가 학습을 진행하지 않은 이유는 프로그램 종료를 위한 기준을 손실의 변화가 적은 것을 기준으로 설정하였다. 손실이 적다는 것은 라벨링 데이터의 일관성이 확보되었다고 판단했다. 그리고 화재 데이터가 추가로 확보가 되면 추가 실험도 계속 진행하여 보겠다.

Table 3.

Object precision rate test results based on max_batch = 8,000

그리고 1차~5차에 걸친 이미지별 B/B(Bounding Box)와 클래스 성능 테스트 결과는 그림 11에 표시하였다. 차수별로 테스트에 활용된 이미지 데이터들은 학습에 사용하지 않은 일반 이미지를 인터넷에서 무작위로 선정하여 테스트한 결과이다. 실험은 이 중 7가지 이미지만을 활용하여 실험한 결과를 표시하였다[3]. 그 결과 차수가 반복될수록 초기 학습 데이터 세트 대비 클래스는 큰 변화가 없으나 B/B의 모양과 위치는 차수가 증가할수록 많은 차이를 보인다.

Fig. 11.

1st~5th B/B(Bounding box) and classification performance test results

그림에는 1차~5차 B/B와 클래스 성능을 테스트한 전체 결과를 그림으로 표시하였다. 기존 정답라벨 대비 테스트한 1, 4, 6번 이미지에 대해서는 차수와 관계없이 비슷한 B/B와 클래스 결과를 보였으나, 그림 12와 같이 테스트 이미지 2, 5, 7번 대해서는 B/B와 클래스 변화가 테스트 차수에 따라 변화가 많았다. 테스트 이미지 2번은 정답라벨을 학습한 결과에서는 연기를 인식이지 못하였으나 2차 학습 이후부터는 정상 검출이 되었다. 이미지 5번은 정답라벨을 학습한 결과에서는 연기를 인식하지 못하였으며 2차까지 학습에서만 정상적으로 연기를 인식하였고. 5차에서는 여전히 연기를 인식하지 못하고 있다. 그리고 테스트 이미지 7번은 초기에 불을 연기로 잘못 인식하는 등 오인식이 심각했으나 5차 학습 이후 오인식이 완전히 사라진 결과를 보인다.

Fig. 12.

Comparison of key labeling performance

표 4에는 사람이 직접 수동으로 라벨링 한 36,749개의 정답라벨과 초기 정답 라벨링 5,565개를 기준으로 F-guessed가 완료된 35,322개의 데이터를 비교한 실험이다. 실험 결과 사람이 수동은 라벨링 한 것과 비교하여 Loss는 0.97, mIOU는 8.8%, mAP는 4.15% 개선된 결과를 얻었다.

Table 4.

Labeled and F-guessed data comparison experiment

하지만 인식률이 높다고 현장에서 바로 활용할 수 있는 것은 아니다. 현장의 다양한 환경과 조건을 만족하기 위해서는 더 많은 데이터가 필요로 하고 더 많은 기술적 아이디어가 추가되어야 할 것이다. 다만 이 실험은 사람이 수동으로 라벨링 하는 수고를 조금이나 마 줄이고 준지도 학습을 통하여 사람의 개입을 최소화하면서 재난 현장에 활용 가능성을 시험하였다.