Home

CNN은 영상에서 객체 분류, 검출, 분할 등 영상 인식 분야에 가장 많이 사용되고 있는 딥 러닝(Deep learning)분야 중 하나이다. 이 CNN은 공간 정보를 유지하는 특성을 가진 컨볼루션으로 구성되어 학습 효율성이 높은 장점을 가지고 있다.

컨볼루션은 가중치 필터를 일정 간격으로 이동하면서 각 입력 채널에 상응하는 원소끼리 곱하고 그 값을 더한 결과를 출력에 순차적으로 저장하는 방식이다. 즉, RGB로 구성된 영상을 3×3 필터, 이동간격(Stride)을 1로 하였을 때, 컨볼루션은 식 (1)과 같이 정의할 수 있다.

여기서 O는 출력, K는 필터, F는 입력을 나타내고 있고, i, j는 필터의 가로, 세로 길이를 나타내고 있다. 또한, x, y는 입력과 출력의 가로 및 세로 길이를 나타내고 c는 입력의 채널, n은 출력 채널을 나타낸다. 이와 같은 컨볼루션 조합으로 구성된 영상 분류의 대표적인 CNN은 AlexNet, GoogLeNet, ResNet 등이 있다.

AlexNet은 2012년도에 공개된 CNN으로 딥러닝의 가능성을 성능으로 입증하면서 영상 분류를 획기적으로 개선하였다. 이 AlexNet은 컨볼루션, 풀링 그리고 마지막에 완전 결합을 거처 결과를 출력하는 방식이다. 또한 ReLU 활성화 함수, LRN(Local Response Normalization)정규화, 드롭아웃(Dropout) 방식을 적용하였고 연산에 GPU를 활용하면서 대용량의 연산을 고속으로 수행할 수 있도록 설계하였다.

GoogLeNet은 2014년도에 공개된 CNN으로 신경망에 폭의 개념을 가진 인셉션(Inception) 구조를 도입하여 성능을 개선한 방식이다. 인셉션 구조는 입력에 1×1 컨볼루션, 3×3 컨볼루션, 5×5 컨볼루션 등, 크기가 다른 컨볼루션과 풀링을 병렬로 여러 개 적용하여 그 결과를 결합하는 방식이다. 현재 인셉션 구조는 계속 변형, 발전시켜 다양한 인셉션 모듈이 제안되고 있다. 또한 GoogLeNet은 22개의 계층(Layer)을 가지고 있어 8개의 계층을 가진 AlexNet보다 2배 이상 깊은 구조를 가지고 있다.

ResNet은 2015년도에 공개된 CNN으로 신경망에 잔여 구조를 도입하여 성능을 개선하였다. ResNet에서는 신경망이 깊어짐에 따라 발생하는 학습 저하를 막기 위해서 지름길(Shortcut Connection)을 통해서 파라미터 없이 바로 연결되는 구조를 도입하였다. 연산의 관점에서 덧셈이 추가되는 형태로 문제를 단순화하였다.

기존의 CNN을 이용한 방식은 영상 인식 분야에서 뛰어난 성능이 입증되었지만, 알고리즘의 학습과 테스트를 위해 많은 연산이 소요되어 고성능 GPU와 대용량의 메모리를 가진 디바이스가 필수적이다. 이와 같은 문제점을 해결하기 위하여 컨볼루션 필터를 변경하는 방법 중 하나인 MobileNet이 제안되었다. MobileNet은 기존의 컨볼루션을 Depthwise separable 컨볼루션으로 신경망을 구성하였다.

Depthwise separable 컨볼루션은 기존의 컨볼루션을 인수분해하는 개념으로 컨볼루션에서 필터처리 하는 Depthwise 컨볼루션과 합산 처리를 하는 Pointwise 컨볼루션 두 단계로 구성된다. Depthwise 컨볼루션은 입력 데이터의 모든 채널에 각각의 채널에 맞는 싱글 필터 연산 처리를 수행하여 결과를 출력한다. Pointwise 컨볼루션은 1×1 컨볼루션으로 구성되고, Depthwise 컨볼루션을 통해 출력된 결과를 합산 처리하여 결과를 출력하는 방식이다. 만약, RGB로 구성된 영상을 3×3 필터, 이동간격을 1로 하여 Depthwise separable 컨볼루션을 한 결과는 식 (2), (3)과 같이 정의할 수 있다.

여기서 O^는 Depthwise 컨볼루션의 출력, K는 Depthwise 컨볼루션의 채널별 싱글 필터, F는 입력을 나타낸다. 또한, O는 Pointwise 컨볼루션의 출력, K^ 는 1×1 컨볼루션의 필터를 나타낸다. 이와 같이 기존의 3×3 컨볼루션을 Depthwise separable 컨볼루션으로 변경할 경우, 약 8~9배 정도 연산량이 감소하게 된다[13].

그림 1은 Depthwise seprable 컨볼루션으로 구성한 MobileNet의 구조를 나타내고 있으며, MobileNet은 총 28계층으로 구성되어 있다. 첫 번째 계층에 위치한 기존의 컨볼루션을 제외하고는 Depthwise separable 컨볼루션을 이용하여 신경망을 구성하였다.

Fig. 1. 
Architecture of MobileNet

그림 1에서 Conv는 기존의 3×3 컨볼루션의 계층, 3×3 Conv Dw는 Depthwise 컨볼루션 계층, 1x1 Conv는 Pointwise 컨볼루션 계층, Avg Pool은 평균 풀링 계층, FC는 완전결합 계층, Softmax는 소프트맥스 활성화 계층을 의미하고 있다. 컨볼루션을 사용하는 각 계층은 배치 정규화(BN, Batch Normalization)와 ReLU 활성화를 적용하고 있다. 입력영상의 영상의 공간 크기를 줄이는 과정은 컨볼루션 계층과 Depthwise 컨볼루션에서 이동간격을 이용하여 수행한다. 영상의 공간 크기를 줄이는 과정은 마지막 Avg Pool 전에 공간적인 사이즈를 1로 줄여 1000×1024사이즈의 데이터가 된다. 이 데이터를 완전결합 계층과 소프트맥스 계층을 통해 입력영상의 분류를 결정한다.

이와 같이 구성한 MobileNet의 연산량을 AlexNet과 GoogLeNet의 연산량과 비교하면 표 1과 같다.

표 1에 제시한 것과 같이 AlexNet은 약 7억2000만개의 연산량을 가지고 있고 약 6000만개의 파라메터 수를 가지고 있다. 반면, GoogLeNet은 약 15억5000만개의 연산량을 가지고 있고 680만개의 파라메터 수를 가지고 있다. 마지막으로 MobileNet은 약 5억 6900만개의 연산량을 가지고 있고 약 420만개의 파라메터 수를 가지고 있다. 즉, 영상 분류에서 유사한 성능을 가진 MobileNet은 AlexNet에 비해 약 20%의 연산량과 약 93%의 파라메터 수가 감소되었고, GoogLeNet에 비해서는 약 63%의 연산량의 감소 및 파라메터 수는 약 38% 감소되었다.

제안하는 알고리즘의 성능을 평가하기 위한 과일의 영상 취득 시스템은 그림 3과 같다.

Fig. 3. 
Fruit Image acquisition system

그림 3에서 카메라는 Basler사의 제품으로 촬영된 영상을 RGB 데이터로 변환하여 PC에 전송하는 역할을 하고, 영상 취득 시, 사용한 조명은 LED 전구로 과일의 영상 취득에 필요한 광량을 제공할 수 있는 것을 이용하였다. 캐리어는 영상을 취득할 과일을 놓아두는 장치로 이동하면서 과일을 회전시킬 수 있는 구조로 설계되어 있어, 이동하는 과일의 모든 부분의 표면 영상을 취득할 수 있다. 트리거 생성부는 캐리어가 센서에 감지될 때, 과일의 영상을 촬영하는 시기를 결정하는 역할을 한다. PC는 카메라에서 취득한 영상을 받아 데이터를 저장한다.

이와 같은 영상 취득 시스템을 이용하여 과일의 영상을 취득하는 과정을 그림 4에 제시하였다.

Fig. 4. 
Example of fruit image acquisition

그림 4는 선별기 이동방향에 따라 움직이는 과일의 영상을 취득하고 있는 과정을 나타내고 있는 것으로 캐리어에 위치한 과일이 이동할 때, 회전하면서 일정한 간격으로 영상이 취득된다. 즉, 센서가 캐리어를 감지할 때부터 이동하는 과일을 촬영하고 있기 때문에 항상 일정한 위치에서 과일의 영상이 취득된다.

이 시스템을 이용하여 취득한 과일의 영상은 그림 5에 제시한 것과 같이 224×224 사이즈의 영상이다.

Fig. 5. 
Images of sound fruit and defect fruit

이와 같이 취득한 과일 영상을 이용하여 성능을 평가하기 위한 실험 과정은 그림 6과 같다.

Fig. 6. 
Process of experimental

그림 6에 제시한 것과 같이 실험에 사용된 과일(감귤)의 영상은 제주도 서귀포에서 수확된 노지 감귤 840개를 이용하였고, 영상 840개 중, 420개는 정상과, 420개는 결점과의 영상이다. 그 다음, 840개의 영상 중, 정상과 영상 360개와 결점과 영상 360개로 구성된 720개의 영상을 이용하여 제안한 알고리즘과 기존 알고리즘(AlexNet, GoogleNet, MobileNet)들의 가중치 학습을 하였다. 마지막으로 정상과 영상 60개와 결점과 영상 60개로 구성된 120개의 영상으로 학습한 알고리즘들의 성능을 평가하였다.

학습에 사용한 최적화 방법은 확률적 경사 하강법(Stochastic Gradient Descent : SGD)를 이용하였고, 배치 사이즈는 32, epoch은 30회를 수행하였다. 제안한 알고리즘의 학습 성능 수행 결과를 그림 7에 제시하였다.

Fig. 7. 
Training performance of proposed algorithm

그림 7에서 가로축은 학습의 반복 횟수(Epochs)를 나타내고, 왼쪽 세로축은 정확도(Accuracy)를 나타내고, 오른쪽 세로축은 손실률(Loss)를 나타내고 있다. 이 결과를 보면, 제안 알고리즘으로 학습을 수행한 최고 성능의 정확도는 98.96%이고, 10회 반복 이후에는 약 99%의 정밀도로 수렴하는 것을 알 수 있다. 최소 손실률은 0.03이고, 10회 반복 이후에는 약 0.03의 손실률로 수렴하는 것을 알 수 있다.

또한, 제안하는 알고리즘과 기존의 대표적인 CNN 알고리즘인 AlexNet, GoogLeNet, MobileNet의 곱셈과 덧셈 수와 파라메터 수를 비교한 결과를 그림 8에 나타내었다.

Fig. 8. 
Comparison of mult-adds and parameters

그림 8에서 가로축은 알고리즘의 종류를 나타내고, 왼쪽 세로축은 연산량을 나타내고 오른쪽 세로축은 파라메터 수를 나타낸다. 그림 안에서 파란색 막대그래프는 연산량을 나타내고, 주황색 막대그래프는 파라메터 수를 나타내고 있다. 이 비교 결과에서 AlexNet의 연산량은 7억2000만개, 파라메터 수는 6000만개, GoogLeNet의 연산량은 15억5000만개이고, 파라메터 수는 680만개였다. MobileNet의 연산량은 5억6900만개, 파라메터 수는 420만개였다. 제안한 알고리즘의 연산량은 1억4400만개, 파라메터 수는 170만개였다. 제안 알고리즘과 다른 알고리즘에 비해 연산량이 적은 MobileNet과 비교하여 볼 때, 연산량은 약 75%, 파라메터 수는 약 60% 감소된 것을 확인하였다.

마지막으로 제안한 알고리즘과 기존 대표적인 CNN 알고리즘인 AlexNet, GoogLeNet, MobileNet을 이용하여 감귤의 결점과 분류 성능 실험을 수행하였다. 각 알고리즘의 학습은 제안한 알고리즘의 학습과 동일한 조건으로 수행하였고 각 알고리즘의 학습률은 모두 약 99%였다. 각 알고리즘에 대한 감귤의 결점과 분류 성능 실험 결과를 그림 9에 제시하였다.

Fig. 9. 
Results of mandarin defect classification

그림 9에서 가로축은 알고리즘의 종류를 나타내고 있고, 세로축은 정밀도를 나타내고 있다. 또한 그림 안에서 파란색 막대그래프는 정상과의 정확도를, 주황색 막대그래프는 결점과의 정확도를 나타내고 있다.

이 결과를 보면, 많은 연산량과 파라메터 수를 가지고 있는 AlexNet과 GoogLeNet 의 경우, 정상과, 결점과 판별 성능이 모두 100% 분류가 되는 것을 확인하였다. 반면, 연산량과 파라메터 수를 경량화한 MobileNet의 경우, 결점과는 100% 분류하였으나, 정상과의 경우에는 15%를 결점과로 분류하는 오류를 발생하였다. 마지막으로 본 논문에서 제안한 알고리즘의 경우, 정상과 결점과 모두 100% 분류되었다. 이것을 보면, 제안한 알고리즘이 연산량과 파라메터 수가 많은 기존의 AlexNet, GoogLeNet과 동일한 선별 성능을 보유하고 있다는 것을 확인할 수 있었다. 따라서 제안한 알고리즘이 결점과 분류 시, 높은 정밀도로 선별할 수 있고, 연산량 및 파라메터 수가 대폭 감소되어 우리나라 과일 선별기에 적용 가능한 방법임을 확인하였다.