Home

식물 생장 및 질병 통제의 핵심은 시기에 맞춰 정확하게 생육 현황을 확인하고 질병을 감지하는 것으로, 질병의 손상 부위와 질병의 유형을 식별해야 한다. 이를 위해서 식물이 제대로 생장할 것인지를 예측하거나 질병의 발생을 빠르고 쉽고 정확하게 감지하는 방법이 필요하다. 인공지능을 활용한 식물 생장 및 질병 예측 연구가 활발히 진행 중으로 인공지능 학습에 필요한 데이터 세트의 확보는 무엇보다 중요하다. 데이터 세트는 머신러닝 모델을 구축하기 위한 기초 Input으로 고품질 데이터 세트는 모델 학습결과를 향상시키는 경향이 있다. 또한 신경망의 품질과 예측 정확도도 효과적으로 향상될 수 있다. 네트워크 모델의 일반화 능력, 더 높은 품질의 모델은 식물 질병의 종류와 피해 정도를 정확하게 구별하고, 과학적인 통제 조치를 결정할 수 있게 한다.

S. Mingyue et al.의 연구[1]에서는 식물 질병과 관련하여 공개적으로 사용 가능한 식물 질병 이미지 데이터 세트 및 사이트를 소개하였다. 공개 데이터 세트 프로젝트인 PlantVillage, 식물병리학 관련 CVPR 2020-FGVC7 등 12종 이상의 식물 질병 이미지 데이터 세트와 웹사이트들을 소개하여 딥러닝 모델 구축을 위한 기초자료로 제안하였다. 또한, 딥러닝을 포함한 머신러닝 모델을 활용한 식물 질병 판정과 관련된 연구들을 정리하여 향후 발전 방향에 대해 제시하였다. 연구보다는 조사에 가까워 한계가 있으나, 머신러닝 적용을 위한 식물 질병 데이터 세트 및 관련 연구들을 모아 놓은 것에 의미가 있다.

E. Kim의 연구[7]에서는 RGB-D 센서를 통해 획득한 RGB영상과 Depth영상 데이터를 확보하였고, 이를 이용하여 사과의 픽셀 좌표와 깊이 센서를 통해 얻은 3차원 깊이 정보를 병합한 데이터로 과실 비대 예측을 진행하였다. 영상 내 사과 객체의 개수, 검출 상자의 위치를 찾기 위해 EfficientDet D2 객체검출 모델을 적용하였다.

S. Hong의 연구[8]에서는 농정원 수집 스마트 팜 농가 데이터(토마토)에 기반, 다중 회귀 분석, 랜덤 포레스트, 딥러닝 ConvLSTM을 적용한 생장량 예측과 생산량 예측을 수행, MAE, RSME, R2 등 지표를 통해 가장 좋은 성능의 모델을 선정 제안하였다. 스마트팜 코리아의 빅데이터(토마토, 파프리카, 오이 등 7가지 작물 생육정보, 환경정보, 경영정보 구축)에서 생육정보와 환경정보가 동시에 존재하고, 경작 기간에 빈 데이터, 환경정보 누락분이 없는 전체 245개의 농가 중 4개의 농가 데이터를 활용하였다. 작기 별 외부 환경 요인이 매우 달라, 일관된 조건하에서 분석하기 위해 작기가 최대한 겹치는 기간의 데이터를 선택하였으며, 환경 데이터의 경우 시간 단위 측정되어, 주간의 평균, 최소, 최댓값을 구하여 각 환경 정보에 대한 데이터를 생성하였다. 학습 데이터는 주간 생장량 및 생산량, 환경정보가 포함되어 있는 데이터로 최종 구성하여 모델학습 및 성능 평가를 수행하였다. ConvLSTM 모델의 성능이 총 5번중 3번 성능이 높았고, 나머지 2번은 MLR모델의 성능이 더 좋은 것으로 확인하였다. 머신러닝을 적용한 생산량 및 성장량 예측을 진행하여 그 가능성을 확인했으나, 농업데이터의 수집 과정에서 일반 농가에서 수집된 데이터를 사용함에 따라 데이터의 일관성이 부족했다는 한계가 있었다.

C. Shorten and T. M. Khoshgoftaar는 논문[9]에서 Deep learning을 위한 Image data augmentation (데이터 증강)에 대한 연구를 통해 다양한 기법을 소개하고 Data Augmentation을 위한 설계 고려사항을 제시하였다. 논문에서 정의한 내용에 따르면, 'Data Augmentation은 데이터의 양을 늘리기 위해 원본에 각종 변환을 적용하여 데이터의 개수를 증강시키는 기법으로, Image Augmentation은 크게 Image Manipulation 기법과 Model Based 기법으로 나눌 수 있다. Image Manipulation은 Horizontal flipping, Color space augmentations, Random cropping 등과 같은 단순한 방법과 Geometric transformations, Kernel filters, mixing images, Random erasing, Feature space augmentation와 같이 복잡한 방법으로 적용할 수 있다. Model Based Data Augmentation은 딥러닝 모델을 활용한 증강 방법으로, Adversarial training, GAN based augmentation, Neural Style Transfer와Meta-learning schemes 이 있다. Optimal Strategy는 최적의 Manipulation의 조합 정책을 찾아내는 방법으로 오버헤드에 대한 부담을 줄이고자 이미지 회전, 뒤집기와 같은 기본적인 증강 기법 중에서 최고의 성능조합을 자동으로 찾아주는 기법이다.

Ranford et al.는 논문[10]에서 GAN의 Generator와 Discriminator 구조에 CNN을 적용한 DCGAN(Deep Convolutional Generative Adversarial Networks)을 제안하였다. GAN의 우수한 아이디어에도 학습 구조의 불안정과 Neural Network가 가지는 블랙박스의 한계가 있었다. 이의 개선을 위해 이미지의 특징을 추출하는데 특화된 CNN 모델 구조를 도입하였는데, Convolution network를 사용해 Discriminator를 구성하고 Deconvolution network로 Generator를 구성한 GAN이다. 이를 통해 DCGAN이 학습한 Filter를 Visualize하여 이미지 생성에 미치는 영향을 파악할 수 있으며 GAN 대비 높은 성능을 보였다.

J. Park et al.은 클래스 분포가 불균형한 데이터 확보 상황에서 토마토 질병분류기의 성능을 향상시키기 위해, DCGAN을 활용하여 데이터를 증강하고 이에 대한 영향을 평가하는 실험을 진행하였다[11]. DCGAN기반의 이미지 증강의 영향력을 확인하기 위해 다양한 클래스 불균형 상황 및 데이터 확장 환경에서 토마토 질병분류 모델의 성능을 검증하였다. 먼저Plat-disease식물질병 데이터 세트의 토마토 질병 데이터 4종류와 healthy 이미지 데이터를 클래스별로 4,000장을 확보한 Base 실험을 진행한 후, 램덤 오버샘플링 및 하나의 질병에 대해 1/10 비율로 데이터의 양을 줄인 Imbalance 상황을 가정하여 실험하였다. 마지막으로, DCGAN모델을 통한 데이터 확장 실험을 위해 Imbalance 데이터 400장을 학습하여 3,600장의 fake 이미지를 생성하여 클래스 데이터의 균형을 맞춘 실험을 진행하였다. 연구에서 데이터 세트의 클래스 불균형 시에 CNN기반 분류기 성능이 저하되며, 오버샘플링 및 DCGAN을 활용한 데이터 증강을 통한 성능 향상을 확인하였다. 특히 해당 연구에서는 DCGAN을 이용한 이미지 데이터 확장을 통해 최대 30%의 정확도가 높아짐을 확인하였다.

G. Geetharamani and A. Pandian의 연구[12]에서는 심층 컨볼루션 신경망(Deep CNN)을 기반으로 한 새로운 식물 잎 질병 식별 모델을 제안하였다. 39가지 종류의 식물 잎과 배경 이미지를 가진 개방형 데이터 세트를 사용하여 훈련을 진행하였고, 이미지 플립, 감마 보정, 노이즈 주입, 주성분 분석, 색상 확대, 회전 및 스케일링의 6가지 유형의 데이터 증강(Data augmentation) 방법을 사용하였고, data augmentation을 사용하면 모델의 성능을 높일 수 있다고 제안하였다. 시뮬레이션을 통해 제안된 모델은 96.46%의 분류정확도를 달성하였고 전통적인 기계 학습의 접근법보다 높은 정확도를 나타낸 것으로 확인하였다.

J. K. Kim et al.는 영상처리 기법과 딥러닝 기술을 사용한 채소 등급 자동 분류를 위한 연구를 진행하였다[13]. 농가의 오이를 동일 배경하에서 촬영하여 이미지 데이터 세트를 확보하고 데이터 증강 기법을 통해 학습 데이터 세트를 확보하였다. SVM과 CNN, VGGNet 등을 사용하여 오이를 3개 등급으로 분류하기 위해 머신러닝 알고리즘의 파라미터, 하이퍼파라미터를 변경시켜 더 좋은 성능을 확보하는 연구를 진행하였다.

J. Chen et al.는 식물 잎 질병의 식별을 위한 딥러닝 모델 적용의 효과성에 대한 연구를 진행하였다[14]. 이를 위해 ImageNet 및 Inception 모듈에서 사전 훈련(Pre-trained)된 VGGNet을 적용하였다. 가중치를 무작위로 초기화하여 처음부터 학습을 진행하는 대신, 레이블이 지정된 대규모 ImageNet 데이터 세트에서 사전 훈련된 네트워크의 가중치를 적용한 전이 학습(Transfer learning)을 진행하였다. 연구에서 제안된 방식으로 공개 데이터 세트에 적용하여 91.83%의 검증 정확도를 확인하였고, 복잡한 배경을 가진 벼 이미지의 분류 예측의 평균 정확도도 92.00%로 높게 측정되었다.

본 논문에서는, 수경재배 식물의 일종인 항암쌈채 모종 원본 데이터로 학습한 인공지능 분류 모델의 성능을 먼저 확인하고, 증강 데이터를 활용한 모델 개발 및 성능개선에 대한 실험을 통해 부족한 수경재배 데이터의 해결 가능성을 확인하려 하였다.

먼저 본 연구 진행을 위해 원본 항암쌈채 생육 모종 데이터를 확보하였다. 데이터는 선행연구[6]의 실험을 통해 확보된 것으로 수경 재배 시설의 환경과 동일한 조건으로 구축된 테스트 베드에서 수집된 생육 Cycle 14일차 이미지 데이터로, 현장전문가가 모종 생육상태를 판단하여 라벨링 하였으며 302*290 사이즈, 총 833 장으로 최종 Leaf lettuce healthy(정상) 200개, Leaf lettuce late budding(발아불량) 179개, Leaf lettuce not settled(들뜬 묘) 193개, Leaf lettuce poor growth(생육불량) 166개, Leaf lettuce shrink(오그라듦) 95개의 5개 클래스로 구분된다. 확보된 데이터는 학습용 8.0과 테스트용 2.0 정도의 비율로 분리하여 준비하였다.

Fig. 1. 
Collected leaf iettuce images

먼저 수집된 항암쌈채 이미지 데이터의 머신러닝 적용 가능성을 확인하기 위해, 대표적인 Backbone 분류 모델인 ResNet, DenseNet에 이미지 데이터를 학습시켜 5개 질병 클래스에 대한 불량 모종 진단 실험 (300epoch, learning rate 0.001 기준)을 진행한 결과, ResNet 86.5, DenseNet 92.9의 높은 값으로 모종 분류 정확도가 측정되었다. 학습 데이터의 양이 적고 클래스간 불균형이 존재함에도 높은 성능을 나타낸 것으로 판단되며 이는 확보된 항암쌈채 모종 이미지 데이터가 머신러닝 학습에 적합한 수준의 품질을 가지고 있다는 것을 의미한다.

이어서 해당 원본 데이터를 활용한 실험을 진행하였다. 머신러닝 분류 모델의 성능을 높이기 위해서는 학습 데이터의 품질 및 클래스별 충분한 데이터 확보가 매우 중요하다. 하지만 동일한 환경하에서의 데이터 수집에는 전문가의 참여, 비용 및 시간소요 등의 한계가 있어 충분한 양의 데이터 확보가 쉽지 않다. 항암쌈채 모종 불량률은 10% 수준으로 클래스 간 불균형이 높아 현재의 원본 데이터 수량을 확보하는 데에도 어려움이 있었다. 이러한 부분의 해결 가능성을 확인하기 위해 확보된 항암쌈채 원본 이미지 데이터를 증강하여 머신러닝 모델 개발 및 성능 개선을 평가하는 연구를 진행하였다.

항암쌈채 모종 이미지 생성에는 DCGAN을 사용하였다. 본 논문에서는 확보된 항암쌈채 원본 데이터 세트를 학습시켜 각 클래스 별로 증강을 진행하는 BinaryGAN 형태로 진행하였다. DCGAN으로 생성한 이미지는 각 클래스 당 3,600장으로, 원본 이미지와 유사한 특징을 가진 데이터를 1인의 전문가가 육안으로 관찰하여 선택하는 방식으로 모종불량 클래스 별로 200장의 데이터를 선별하였다.

선별된 DCGAN 증강 데이터를 활용한 항암쌈채 질병 분류 모델 개발 및 모델 성능 개선 가능성을 확인하기 위해 2개의 실험을 진행하였다. 첫 번째 실험은 Backbone 분류 모델을 증강 데이터만으로 학습한 후 원본 테스트 데이터에 대한 불량 모종 진단 정확도를 측정하는 실험을 진행하였다. 두 번째 실험은 DCGAN 생성 데이터와 원본 데이터를 합하여 Backbone 모델에 학습하고 원본 테스트 데이터로 검증하는 실험을 하였다. DCGAN 생성데이터로 학습한 분류 모델의 Pre-trained 모델 활용 가능성과 원본 데이터가 부족한 경우 생성 데이터를 이용한 성능 개선이 가능한지를 확인하려 하였다.

첫 번째, 항암쌈채 모종 불량 클래스 별 DCGAN 증강 이미지 200장, 총 1,000장의 데이터를 ResNet, DenseNet의 Backbone 모델에 적용하여 300 epoch, 0.1, 0.001, 0.001의 Learning rate에서 학습한 후 원본 테스트 세트로 검증하는 실험을 하였다.

Fig. 2. 
Loss and accuracy of ResNet

ResNet에 증강 데이터를 학습시킨 후, 원본 항암쌈채 데이터에 대한 불량 모종 진단 실험 결과 Learning rate 0.001에서 loss 3.91, accuracy 61.2로 가장 높게 측정되었다. DensNet은 Learning rate 0.1에서 loss 1.34, accuracy 62.4로 가장 높게 측정되었다. 실험 결과, DCGAN 증강 이미지만으로 학습한 모델은 ResNet 61.2, DenseNet 62.4의 Accuracy로 실제 항암쌈채 불량 진단이 이루어졌다. 수경재배 항암쌈채류와 관련된 데이터가 부족한 상황에서 DCGAN 생성 데이터 세트와 Pre-trained 모델을 활용한 다양한 연구가 가능할 것으로 판단된다.

Fig. 3. 
Loss and accuracy of DenseNet

DCGAN 생성 데이터의 활용 측면에서, 원본 데이터에 생성 데이터를 추가하였을 때의 모델 성능 개선에 대한 실험을 진행하였다. 증강 데이터의 영향을 파악하기 위해, 학습 데이터 구성 시 원본 대비 증강 데이터의 비중이 큰 경우와 적은 경우를 Test Case로 한 실험을 진행하고 이를 비교하였다.

ResNet, DenseNet의 Backbone 모델에 300 epoch, 0.1, 0.001, 0.001의 Learning rate 하에서 2가지 Case의 학습 데이터 세트에 대한 학습 및 원본 테스트 세트에 대한 불량 모종 진단 실험을 진행하였다. 먼저 ResNet에 대한 실험 결과, Case 1의 learning rate 0.001에서 Accuracy가 88.2로 가장 높게 측정되었다.

Fig. 4. 
Test result of case 1 (ResNet)

DenseNet에 대한 실험 역시 동일한 설정으로 진행되었으며, Case 1의 learning rate 0.001에서 94.7로 가장 높은 Accuracy가 측정되었다.

Fig. 5. 
Test result of case 1 (DenseNet)

DCGAN 생성 데이터를 학습 데이터로 추가하여 실험한 결과는 아래 표 2와 같다. Case 별로 Accuracy 측정값의 변화가 있었는데, DCGAN 증강 데이터의 품질이 떨어짐에도 적용 비중이 높은 경우에 더 높은 성능 향상이 발생하였다. 원본 데이터만으로 학습이 진행된 경우와 비교했을 때, ResNet은 86.5에서 88.2로 DenseNet 92.9에서 94.7로 향상되었다.