Home

데이터 증강은 적은 양의 데이터를 바탕으로 딥러닝 알고리즘을 통해 데이터의 양을 늘려 검출, 분류, 추론 등 현실 문제를 해결하기 위한 학습 과정에서의 응용 분야의 데이터가 부족한 경우에 대비해서 효율적인 학습을 수행하여 더 강인한 딥러닝 모델을 구성하기 위해 사용되는 기법이다. 데이터 증강 모델에서 가장 많이 사용되고 있는 모델은 Ian goodfellow가 제안한 GAN이다. GAN을 활용하면 수집 및 가공된 적은 양의 데이터 셋을 데이터 증강(Augmentation)을 통해 새로운 데이터 셋을 구축하여 학습에 활용할 수 있으며, 그림 1은 GAN의 구조와 동작을 나타낸 것이다.

Fig. 1. 
Layer structure of GAN

지식 증류 기법은 이미 학습된 모델(교사네트워크, Teacher network)을 이용하여 학습이 부족한 모델(학생네트워크, Student network)을 학습시키는 방법이다. 이 방법은 학생모델에서의 확률 분포에 대한 예측 계산이 교사모델의 결과를 따라가므로 목표 성능까지 쉽게 도달 가능하다는 장점이 있다.

지식 증류 과정은 다음과 같다.

(1) 교사모델 학습: 큰 신경망을 학습시켜 높은 성능에 달성한다.

(2) 교사모델 소프트 라벨: 교사모델을 사용하여 학습 데이터 셋에 대한 예측을 수행하고, 출력 확률분포를 부드럽게 만들어 관련 매개변수를 사용하여 소프트 라벨을 생성한다. 소프트 라벨은 교사모델의 예측 확률을 표현하므로, 원본 라벨보다 더 많은 정보를 포함한다.

(3) 학생모델 학습: 학생모델은 소프트 라벨을 목표로 하여 손실 함수를 최소화하도록 하는 과정을 수행하며, 교사모델의 성능을 그대로 복사하여 학습한다.

(4) 성능평가: 학습이 완료되면 학생모델의 성능을 평가하여 교사모델과 유사한 성능을 달성하면서도 더 적은 비용을 사용하게 된다.

Fig. 2. 
Structure of konwledge distillation

U-Net은 논문 'U-Net: Convolutional Networks for Biomedical Image Segmentation'에서 처음으로 제안되었으며, 기본 원리는 저차원 정보뿐만 아니라 고차원 정보까지 이용하여 영상의 특징을 추출함과 동시에 검출하고자 하는 객체의 정확한 위치 파악도 가능하게 하는 것이다. 이를 위해서는 인코딩 과정에서의 각 레이어에서 획득한 특징을 디코딩 과정의 각 레이어에 통합하는 방법을 기반으로 설계하며, 그림 3은 U-Net의 구조를 보여준다.

Fig. 3. 
Structure of U-Net

U-Net은 오토인코더(Autoencoder)와 같은 인코더-디코더(Encoder-decoder) 기반 모델에 속한다. 일반적으로 인코딩 과정에서는 입력 영상의 특징을 추출할 수 있도록 채널 양을 확장하여 차원을 감소시키며, 디코딩 과정에서는 인코딩과정에서 획득한 저차원 정보만 이용하여 채널 양을 줄이고 차원을 확장하여 고차원의 영상으로 복원한다. 하지만 인코딩 과정에서 차원 감소를 거치면서 영상 내 객체에 대한 정확한 위치 정보가 손실되고, 디코딩 과정에서도 저차원의 정보만을 이용하기 때문에 손실 위치 정보를 회복하기는 쉽지 않다.

기존의 지식 증류 기법은 전이학습에서 사전 학습 완료된 모델에 의존하여 재학습되기 때문에, 컴퓨팅 자원이나 환경이 제한되는 분야에서 적용하는데 발생되는 한계점을 극복하기 위하여 사전 학습 완료된 신경망 모델에서 다른 신경망 모델로 이전하여 학습을 수행하는 것이다. 지식 증류 학습방법은 유클리디안(Euclidean) 거리의 최소화를 위해 비용 함수(Cost function)을 설정하여 학습을 수행하게 된다.

이와 달리, 본 논문에서는 기존 방식과는 다른 복잡한 GAN 모델 내부의 지식을 표현하는 흐름정보를 추출하여 다른 대상 모델로 이전하여 학습을 수행하는 새로운 방식을 제안한다. 이는 생성자(Generator)를 학습 대상 네트워크로 설정하고, 상기 네트워크 모델에서 추출한 흐름정보들을 MLP(Multi-Layer Perceptron)의 판별자(Discriminator)가 사전 학습된 네트워크 모델을 통해 획득한 흐름정보들과 서로 비교하여 구분할 수 없을 때까지 적대적 학습과정을 거쳐 수행하는 방식을 적용한다. 학습과정은 다음과 같다. 교사모델에서 학생모델로 지식을 전달하는 지식 증류 과정을 수행하는데, 이때 학생 모델은 교사모델의 성능을 모방하면서도 더 적은 계산 비용을 요구하게 된다.

GAN의 생성자와 판별자 중 하나 또는 모두를 학습된 학생 모델로 설정하고, 설정된 학생모델은 고성능 교사모델로부터 지식을 증류했기 때문에 GAN 학습의 초기 성능이 높아지게 된다. 이러한 접근 방식은 이미지 생성, 이미지 변환, 데이터 생성 등 다양한 응용으로 활용할 수 있다. 그림 4는 지식증류 기반의 GAN 구조를 보여주고 있다.

Fig. 4. 
Structure of GAN based on knowledge distillation

본 논문에서 제안하는 Saliency U-Net은 U-Net 구조를 기반으로 시각적 주목성(Saliency) 또는 관심영역(Region of interest)의 예측을 위한 신경망이다. Saliency는 영상에서 인지적으로 중요한 부분을 감지하는 작업으로, 영상 처리 및 컴퓨터 비전 분야에서 다양한 응용이 가능하다. U-Net은 합성곱 신경망(CNN)의 변형으로, 영상 분할(Image segmentation) 작업에 특화된 구조를 가지고 있어, 단순히 윤곽 검출뿐 아니라, 픽셀단위로 객체에 대한 정보를 검출 및 분석 가능하다.

U-Net은 인코더-디코더 구조를 가지며, 인코더에서 영상의 고수준 특징을 추출하고, 디코더에서 고해상도 분할 맵(Segmentation map)을 생성한다. 이 과정에서 U-Net은 스킵 연결(Skip connections)을 사용하여 인코더와 디코더 사이의 정보를 공유함으로써, 세부 정보를 보존하고 효과적인 분할을 수행한다.

Saliency U-Net은 기본 U-Net 구조를 활용하여 시각적 주목성 맵(Saliency map)을 생성하는 모델이다. 이 모델은 영상을 입력으로 받아, 각 픽셀이 얼마나 주목할만한지에 대한 확률 분포를 출력한다. 일반적으로 마지막 레이어에서 시그모이드(Sigmoid) 활성화 함수를 사용하여 각 픽셀의 주목성 값이 0과 1 사이의 범위를 가지도록 한다. 이렇게 생성된 saliency 맵은 영상 내 주요 객체나 특징을 감지하는 데 사용될 수 있다. 그림 5는 saliency U-Net 모델의 구조를 보여준다.

Fig. 5. 
Structure of saliency U-Net

본 논문에서는 데이터 확보를 위해 소량의 학습 데이터를 인위적으로 변화시켜 새로운 학습 데이터를 대량 확보 가능한 방법론을 적용하여 저해상도 영상 데이터 셋을 구성한다. 저해상도로의 변환은 단순한 다운샘플링 방법으로도 획득 가능하지만, 이렇게 생성된 데이터는 변환과정에서 영상이 갖고있던 많은 정보를 손실하게 된다.

본 논문에서는 지식 증류(Knowledge distillation) 기반 GAN을 사용한 데이터 증강 기법을 적용하여 고해상도 영상 데이터셋을 기반으로 저해상도 영상 데이터셋을 구성화는 방법을 사용한다. 제안하는 방법은 학습 수렴속도 및 학습에 소요되는 시간을 단축시킬 수 있으며 또한 영상 정보 손실을 최대한 줄일 수 있는 것이 장점이다. 실험에서는 먼저 GAN 모델을 적용하여 Generator는 저해상도 영상을 입력하여 고해상도 영상을 생성하며, Discriminator과정에서는 생성된 고해상도 영상을 실제 고해상도 영상과 구별하여, 학습된 고해상도 모델의 정보를 저해상도 모델로 전달한다.

하지만 지식 증류를 수행할 때 사전 학습 네트워크를 사용하기 때문에 구조 측면에서 뉴론 크기 등 일치 여부를 확인하고, 학습률 조절을 통해 학습 곡선의 왜곡을 감소시킬 수 있다. 실험에서 사용된 데이터 셋은 산업현장용 영상 데이터 셋을 이용하여 저해상도 영상 데이터 셋으로 생성하여 최종 Saliency U-Net을 기반으로 객체 검출을 수행한다. 표 1은 실험에서 사용된 데이터 셋들이다.

제안 방법의 데이터 생성 검증을 위해 사용된 사전 학습 모델로는 PG-GAN(Generator)과 DC-GAN(Discriminator)을 사용한다. GAN 기반 데이터 증강 신경망 모델의 학습 수렴은 Generator와 Discriminator Loss의 변화를 통해 평가할 수 있다. 표 2는 지식 증류를 적용하기 전과 후의 GAN 모듈을 100회와 1,000회 Epoch에서 학습한 객체 영역의 정확도를 나타낸 결과이다.

그림 6은 지식 증류의 적용 전과 후의 GAN 모듈에서 mAP 0.5IOU에 수렴하기까지의 학습 곡선을 나타낸다.

Fig. 6. 
Learning convergence curves at IoU 0.5

실험에서는 표 1에 명시된 데이터셋에서 증류 기반 GAN 모델을 통해 생성된 저해상도 영상에 대해 Saliency U-Net을 이용하여 객체 영역을 학습시켰다. 테스트 영상으로는 각 데이터셋의 일부를 추출하여 사용하였으며, 기존 대표적인 모델들과 정확도 비교 실험을 진행하였다.

표 3은 기존 모델과 제안 모델간의 정확도 비교 결과를 나타낸 것이다. 데이터 셋 1에서의 정확도가 5% 이상으로 가장 많이 향상된 것을 확인할 수 있었다. 그림 7은 데이터 셋 1에서의 크랙, 블로 홀, 브레이크에 대하여 Faster R-CNN, VGG-19, YOLO v5, Saliency U-Net을 활용하였을 때의 검출 결과를 보여준다.

Fig. 7. 
Detection results in dataset 1