Home

전이 학습은 이미 대규모 데이터셋을 사용해 사전 학습된 모델을 새롭고 관련된 문제에 적용하는 학습 방법이다. 이 방식은 새 작업의 학습 시간을 크게 단축하면서도, 상대적으로 적은 양의 데이터로도 높은 성능을 달성할 수 있다는 장점을 가지고 있다. 전이 학습 과정은 크게 두 단계로 나뉜다: 사전 학습된 모델의 선택과 이 모델을 타겟 작업에 맞게 미세 조정하는 것이다.

사전 학습된 모델을 선택할 때는 일반적으로 대규모 이미지 데이터베이스인 ImageNet[7]에서 사전 학습된 컨볼루션 뉴럴 네트워크 모델을 사용한다. 이러한 모델들은 다양한 이미지 특성을 인식할 수 있는 능력을 이미 갖추고 있어, 새로운 특정 작업에 적용될 때 기본적인 특성 추출기로 활용한다. 사전 학습된 모델을 선택하는 것은 전이 학습 과정에서 매우 중요한 단계이며, 모델의 성공적인 임베디드 시스템의 배포 및 적용 가능성을 높인다.

사전 학습된 모델을 선정한 후, 이를 특정 목적 작업에 맞게 조정하는 단계가 이어진다. 본 연구에서는 정상 사과와 불량 사과를 구분하는 이미지 분류가 주요 목적 작업이다. 미세 조정 과정에서는 본 연구를 위해 직접 수집한 사과 이미지 데이터셋을 사용하여 모델의 일부를 재학습한다. 이 과정을 통해 모델이 새로운 작업의 특성에 더욱 잘 적응하고, 높은 성능을 발휘할 수 있도록 한다.

본 연구에서는 특히 모델의 마지막 층에 대한 미세 조정을 진행한다. 이 방식은 모델이 사전 학습 과정에서 습득한 일반적인 지식을 유지하면서도, 새로운 작업에 필요한 특화된 지식을 학습하도록 한다. 이를 통해, 사과 이미지 데이터셋에 대한 모델의 예측 능력을 개선하는 효율적인 학습 과정을 수행할 수 있다.

임베디드 시스템에서의 AI 모델 운용을 위해서는 모델의 경량화가 필수적이다. 이는 제한된 연산 자원과 메모리를 가진 임베디드 시스템에서 높은 성능을 발휘할 수 있도록 최적화된 모델을 의미한다.

본 연구에서는 이러한 조건을 충족시키기 위해 여러 경량화 모델을 검토하였으며, 특히 컴퓨팅 자원이 매우 제한적인 환경에서도 효율적으로 작동할 수 있는 모델 구조와 알고리즘에 초점을 맞추었다.

(1) MobileNetV3: MobileNetV3[8]는 컴퓨터 비전 작업을 위해 특별히 설계된 경량화 아키텍처이다. 이 모델은 최적화된 레이어와 작은 모델 사이즈를 통해 높은 정확도와 효율성을 제공하며, 모바일 및 임베디드 시스템에서 실시간 작업에 이상적이다.

(2) EfficientNetB0: EfficientNet[9] 시리즈의 B0 모델은 균형 잡힌 스케일링 방법을 사용하여 네트워크의 깊이, 너비, 그리고 해상도를 동시에 조정한다. 이 접근 방식은 작은 모델 사이즈와 빠른 추론 속도를 유지하면서도, 우수한 성능을 달성한다.

(3) FBNet: Facebook에서 개발한 FBNet[10]은 하드웨어 효율성을 최대화하기 위해 네트워크 아키텍처 탐색(NAS[11])를 사용한다. FBNet은 다양한 임베디드 시스템에서 맞춤형으로 최적화할 수 있으며, 특히 모바일 기기에 적합한 고성능을 제공한다.

(4) RexNet: ReXNet[12]은 효율적인 채널 확장과 잔차 연결을 통해 정확도를 개선한 모델이다. 비교적 적은 연산량으로 높은 성능을 제공하며, 이는 임베디드 시스템에서의 사용에 적합하다.

(5) RegNet: RegNet[13] 시리즈는 유연성과 확장성을 제공하는 동시에, 다양한 임베디드 환경에서 효율적으로 작동할 수 있도록 설계되었다. RegNet은 두 가지 주요 계열인 RegNetX와 RegNetY를 포함하는데, RegNetX는 성능 최적화에 중점을 두고 있으며, RegNetY는 효율성과 성능의 균형을 추구한다.

본 연구에서는 사과의 품질 분류를 위한 딥러닝 모델 개발을 목적으로 하며, 이를 위해 총 13,821장의 사과 이미지를 실험 데이터셋으로 사용하였다. 이 데이터셋은 정상 사과 이미지 6,225장과 불량 사과 이미지 7,596장으로 구성되어 있다.

각 이미지는 다양한 배경과 조명 조건에서 촬영되었으며, 사과의 크기, 색상, 그리고 표면의 결도 다양하다.

실험의 정확도를 높이기 위해, 사과의 특성만을 집중적으로 학습할 수 있도록 이미지에서 사과 영역만을 추출하는 전처리 과정을 수행하였다. 이 과정은 다음 단계로 구성된다:

(1) U2-Net 모델을 이용한 관심 영역 추출: 사전학습된 분할 모델인 U2-Net[14]을 사용하여 각 이미지에 대한 마스크를 생성하였다. 이 마스크는 이미지 내의 사과 영역을 정확하게 식별하는 데 사용되었다.

(2) 마스크를 통한 영역 추출: U2-Net 모델의 출력값인 마스크를 사용하여 원본 이미지에서 사과 영역을 정확히 추출하였다. 이를 통해 배경과 불필요한 객체들을 제거하고, 사과의 특징을 더욱 명확히 학습할 수 있도록 하였다.

(3) 사과 영역 자르기: 추출된 사과 영역을 기반으로 최종적으로 사과만을 포함하는 영역을 잘라내었으며, 모델 학습에 사용될 이미지 데이터셋을 준비하였다. 이 과정을 통해 데이터의 일관성을 확보하였다.

Fig. 1. 
Process of extracting regions of interest using segmentation model

본 실험을 위해 Ubuntu 20.04.6 LTS 운영 체제를 기반으로 한 시스템에서 수행되었으며, 실험에 사용된 CPU는 Intel Xeon Gold 5120(8코어) 및 NVIDIA의 Tesla V100 SXM2 32GB GPU가 사용되었다. 실험을 위한 구현은 PyTorch 프레임워크를 활용하였다.

다양한 경량화 모델의 성능을 평가하기 위해 공통 실험 설정은 다음과 같다: 초기 학습률은 8e-5로 설정하였으며, 학습은 총 100 에포크 동안 수행되었다. 가중치 감소는 0.05로 설정되었다. 또한, 실험의 재현성을 위해 난수 생성 시드는 1120으로 고정하였다.

실험은 원본 이미지의 정보를 보존하기 위하여 입력 이미지 크기를 키운 512x512과 배치 크기는 128로 지정한 실험1과 작은 이미지 크기로 줄인 368x368 사이즈와 배치 크기는 32로 지정한 실험2로 구분한다.

실험 1과 실험 2의 평가를 위해 정확도(Accuracy)와 추론 속도(Inference speed)를 기반으로 가중평가를 수행한다.

식 (1)의 참양성(TP, True Positives)는 모델이 올바르게 양성으로 예측한 데이터의 수, 참음성(TN, True Negatives)은 모델이 올바르게 음성으로 예측한 데이터의 수를 의미한다. 거짓음성(FN, False Negatives)은 모델이 잘못하여 음성으로 예측한 양성 데이터의 수, 거짓양성(FP, False Positives)은 모델이 잘못하여 양성으로 예측한 음성 데이터의 수를 의미한다. 이에 따른 정확도는 모델의 예측이 실제 정답과 얼마나 잘 일치하는지를 나타내는 지표로, 전체 데이터 중 올바르게 예측된 데이터의 비율이다.

추론 속도는 모델이 입력 이미지 한 장을 처리하고 결과를 출력하는 데 걸린 시간으로 측정된다. 단위는 초(s)이며, 이는 실제 모델의 반응 속도를 평가하는 데 중요한 지표이다.

식 (2)은 가중 평가를 위한 평가 항목으로 정확도와 추론 속도를 8:2 기준으로 설정하였다. 추론 속도는 빠를수록 좋으므로, 이를 역수로 변환한 후 20%의 가중치를 적용하였다. 이는 정확도, 추론 속도는 상충 관계(Trade-off)에서 정확도를 더욱 높게 반영하기 위하여 정확도 80%, 추론 속도 20%의 비율로 점수를 계산하였다.

실험 1과 실험 2에서의 다양한 모델 성능 평가를 통해 사과 품질 예측을 위한 최적의 모델을 탐색한다. 모델 간의 성능 비교는 정확도, 추론 속도에 기반한다.

표 2에 따르면, 실험 1은 512x512 이미지 사이즈를 학습한 결과로 학습한 모델의 평균 정확도 92.06%, 평균 추론 속도 0.0129초이다. 그중 RegNet-x 모델은 정확도 면에서 93.82%로 높은 성능을 보였으며, 추론 시간도 0.0124초로 가장 빠른 속도를 나타냈다. 이는 실시간 응답이 필수적인 임베디드 환경에서 RegNet-x 모델이 매우 효율적임을 시사한다.

표 3에 따르면, 실험 2는 368x368 이미지 사이즈를 학습한 결과로 학습한 모델의 평균 정확도 93.34%, 평균 추론 속도 0.015초이다. 그중 MobileNetV3이 94.26%의 가장 높은 정확도와 0.0123초의 빠른 추론 속도를 기록했다.

최종적으로 임베디드 시스템 배포를 위한 모델을 선정하기 위해서 실험 1, 실험 2에서 학습한 각 모델을 가중 평가점수 계산 방법에 따라서 점수를 재계산하여 평가한다. 그리고 상위 모델 3건을 선택하여 재학습 후 최종평가한다.

표 4는 가중평가 실험 결과로, 가중 평가 점수가 가장 높은 상위 모델 3개는 RegNet-x, RegNet-y, MobileNetV3이다. 가중평가에 따라서 선정한 3개의 모델을 실험 1의 조건과 동일하게 재학습하여 최종적인 최적의 모델을 선정한다.

표 5는 최종적으로 선정한 3개의 모델의 재학습 평가 결과로 테스트 정확도, 추론 속도와 이를 기반으로 계산한 가중평가점수가 있다. 최종적인 평가로 가중평가점수에 따라 RegNet-y가 가장 높은 평가 점수를 달성한다.

실험 1, 2를 통해 이미지 사이즈에 따라서 성능이 다르기 때문에 RegNet-y의 다양한 이미지 사이즈에 따라서 평가가 필요하다. 학습을 위해 이미지 사이즈 224x224, 368x368, 512x512를 각각 사용한다.

표 6에 따르면 이미지 368x368 사이즈가 테스트 정확도가 94.81%로 가장 높으며 512x512 사이즈로 학습한 실험 결과보다 0.1% 높다. 이미지 사이즈가 증가함에 따라 일반적으로 모델의 학습 및 테스트 정확도가 향상되는 경향이 관찰된다. 이는 더 큰 이미지 사이즈가 모델에 더 많은 정보를 제공하여 성능을 향상시킬 수 있음을 시사한다. 다만 임베디드 시스템 환경의 제한적인 연산 처리를 고려하였을 때 512x512는 이미지가 크기 때문에 368x368사이즈를 사용한다. 이를 선택하여 데이터 증강 실험에 사용한다. 데이터 증강 기술이 모델의 일반화 능력을 향상시키는데 중요한 역할을 할 수 있음을 보여준다[16].

실험을 위해 Mixup[17], Cutmix[18]를 각각 50%씩 섞어서 사용하였으며, 학습 효과를 구분하기 위하여 학습 속도를 4e-05, 8e-05로 나누어 평가한다.

실험 결과는 표 7과 같으며, 4e-05의 학습 속도를 설정 할 때 학습 정확도는 0.76% 떨어지지만, 테스트 정확도가 0.75% 높다.

다양한 실험을 통해 RegNet-y의 최적의 성능 도출을 시도하였으며 최종적으로 95.36%의 정확도를 달성한다.

RegNet-y의 최종적인 성능 검증을 위하여 교차 검증[19]을 수행한다. 교차검증을 수행하는 주요 이유는 모델의 실제 성능 추정 모델을 학습 데이터로만 평가하면 과적합이 발생할 수 있어 실제 성능을 정확히 추정하기 어렵다. 교차검증을 통해 여러 독립적인 데이터 세트에서 모델을 평가함으로써 더욱 신뢰성 있는 성능 추정이 가능하다.

과적합 방지 교차검증 과정에서 모델은 여러 번 학습과 평가를 거치게 되므로, 특정 데이터에 지나치게 최적화되는 과적합 현상을 방지할 수 있다.

이에 따라 5-Fold의 교차 검증을 수행하였으며 실험을 위한 설정은 다음과 같다. 이미지 사이즈 368x368, 배치 사이즈 64, 에포크 200, 학습률 4e-5, 가중치 감소 0.05로 설정한다. 또한 교차 검증 시 데이터 증강 기법인 Mixup, Cutmix를 각각 50%씩 사용한다.

실험의 평가를 위하여 F1 점수는 정밀도와 재현율의 조화 평균이며, 테스트의 정확도를 측정하는 지표이다.

각 폴드 별 F1은 97.26%, 97.31%, 97.21%, 97.46%, 97.46% 이다. 그림 2의 모든 폴드가 비슷한 경향을 보이는 것으로 보아 훈련 데이터가 다양한 하위 집합에서 일관되게 모델에 영향을 주고 있는 것으로 관찰된다. 그리고 검증 손실 그래프는 훈련 손실 그래프와 유사하지만, 훈련 중에 보지 못한 데이터 세트에서의 모델 성능을 나타낸다. 손실이 처음에 급격하게 감소한 후 특정 값 주위에서 진동을 시작하는데, 이러한 현상은 모델이 훈련 데이터에서의 패턴을 학습하고 새로운 데이터에 일반화되고 있음을 나타낼 수 있다.

Fig. 2. 
Loss, F1 comparison of 5-Folds of training, validation

평균 F1은 97.34%로 주어진 사과 품질 예측 데이터셋에 매우 안정적으로 학습되었고, 좋은 일반화 능력을 가지고 있음을 검증하였다