Home

심층 신경망(DNN, Distributed Deep Neural Network)을 이용하여 스마트 팜에서 실시간으로 대용량의 수집 데이터를 처리·분석하기 위한 방법은 연합 학습, 에지 컴퓨터, 클라우드 컴퓨팅, 블록체인 등이 대표적이다.

Ramos et al. 은 농작물(커피 열매)을 마케팅 활동에 활용하기 위해서 수확 전·후의 농작물의 무게를 분석하였다[11]. 이 연구는 농작물의 마케팅 활용에 기여하였으며, 마케팅 비용 낭비를 줄이는 동시에 농작물의 부패를 줄이는데 많은 노력을 하였다.

Liakos et al.은 농작물을 수확·관리하는데 드론 기술을 사용하였으며, 데이터 분석, 작물 관리, 작물 수확량 등에 기계학습을 활용하여 농작물의 품질을 향상시켰다[12]. 그러나, 다양한 기술(인공지능, WSN, IoT 등)을 통해 수집한 대용량의 농작물 정보를 효과적으로 관리하기 위한 추가적인 기술이 요구된다.

Benjamin et al. 은 스마트 팜의 농작물들의 키와 무게를 예측하는 동시에 결과를 검정하기 위해서 RGB-D(RedGreenBlue-Depth) 이미지를 이용하였다[13]. 그러나, 농작물의 키와 무게를 검증하기 위해서 농작물 픽셀까지의 거리를 한 번에 알아낼 수 있는 RGB-D 적외선 패턴 연구가 추가적으로 필요하다.

Ballesteros et al. 은 인공지능 기술을 이용하여 농작물(양파)의 RGB-D 이미지 연구를 진행하였다[14]. 그러나, 이 연구는 스마트 팜에 적합한 적합한 카메라를 사용하지 않아 RGB 색영상과 깊이 정보만을 제공하고 있다.

스마트 팜은 농작물의 생육 정보(온도, 습도, 일조량 등)를 지능적으로 분석할 수 있도록 DNN 서비스를 많이 활용하고 있다.

그러나, DNN 서비스는 머신러닝 기법 중에 예측력이 상대적으로 높은 반면, 에지 정보를 최적화할 때 연산 리소스가 많아 시간이 오래 걸린다. DNN 서비스의 경우, 제한된 대역폭과 대기 시간으로 인하여 IoT 에지 환경에서 실현할 수 없는 중앙 집중식 처리에 의존하는 경우가 많다.

제안 모델은 IoT 에지 장치의 기능을 활용하여 DNN 서비스를 효율적으로 처리할 수 있도록 블록체인 기반의 분산 DNN 서비스를 지원하는 모델을 제안한다. 제안 모델은 농작물의 생육 정보를 블록체인으로 묶어 처리함으로써 신뢰성을 확보할 수 있을 뿐만 아니라 DNN 서비스를 통해 분산된 기록 보관 시스템 역할을 수행한다. 또한, 제안 모델은 IoT 에지 정보를 n-1계층과 n+1계층으로 분산 배치하여 쌍방향으로 교차 검증할 수 있는 키와 가중치 정보를 블록체인으로 묶어 처리한다. 특히, 제안 모델은 IoT 에지 정보의 가중치를 일정 간격으로 유지하도록 확률값을 누적하여 IoT 에지 정보 간 동기화를 유지 및 검증한다.

그림 1과 같이 제안 모델은 블록체인 기반의 분산 DNN 서비스를 최적화하기 위해서 에지 장치, 에지 서버 그리고 클라우드 서버로 구성한다.

Fig. 1. 
Blockchain-based distributed DNN processing structure for IoT edge environment

에지 장치는 IoT 장치가 그 역할을 수행하며, 데이터 수집 및 처리를 담당하고 에지 서버는 AIoT 장치가 그 역할을 담당한다. 클라우드 서버는 DNN 교육 및 추론을 통해 DNN 분석 및 활용을 담당한다.

에지 장치는 먼저 센서에서 데이터를 수집하고 이를 에지 서버로 보내기 전에 전처리한다. 에지 서버는 DNN 교육을 담당하며 연합 학습 방식을 활용하여 DNN 모델을 교육한다. 연합 학습은 에지 장치가 DNN 모델을 로컬에서 교육하고 집계된 모델 매개변수로 클라우드 서버를 업데이트할 수 있도록 하는 분산 기계 학습 접근 방식이다. 이 접근 방식은 에지 장치에서 클라우드 서버로 데이터를 전송할 필요가 없으므로 대기 시간과 대역폭 사용량이 줄어든다.

DNN 모델이 훈련되면 추론을 위해 에지 장치로 전송된다. 에지 장치는 훈련된 DNN 모델을 사용하여 추론을 수행하고 그 결과를 클라우드 서버로 보낸다. 클라우드 서버는 다양한 에지 장치의 결과를 집계하고 DNN 모델을 업데이트한 다음 추가 교육을 위해 에지 서버로 다시 보낸다.

스마트 팜에서 IoT 에지 장치는 농작물의 다양한 생육 정보를 여러 환경에서 수집하여 분석된 정보를 클라우드 서버로 전송한다. 이 때 제한된 네트워크 대역폭과 대기 시간 관련 문제를 해결해야 한다. 제안 모델은 에지 환경에서 그림 2처럼 블록체인 과정을 3단계(로컬 네트워크, 오버레이 네트워크, 클라우드)로 구분하여 IoT 에지 장치의 기능을 활용하여 DNN 서비스를 최적화함으로써 제한된 대역폭과 대기 시간을 최소화한다. 제안 모델은 분산 DNN 모델을 통해 IoT 에지 장치에서 수집된 정보를 분석하거나 예측한 정보를 전달할 때, 오버레이 네트워크를 사용하여 네트워크 오버헤드를 최소화시킬 수 있다. 또한, 제안 모델은 IoT 에지 장치가 서로 다른 네트워크 상황에 따라 IoT 에지 장치의 정보를 블록체인으로 다중 연계함으로써 컴퓨팅 및 메모리 리소스를 동적으로 제한할 수 있다. 이를 통해 제안 모델은 DNN 모델로 인덱스 정보의 트랜잭션을 배치 처리하여 빠른 처리와 무결성이 보장된다.

Fig. 2. 
Blockchain processing according to network

제안 모델은 스마트 팜 환경의 IoT 에지 정보를 최적화하기 위해서 그림 3과 같이 분산 DNN 처리를 사용한다. 분산 DNN 처리는 IoT 에지 정보를 최적화할 때 연산 리소스가 제한되지 않도록 블록체인으로 처리한다. 블록체인으로 처리하는 이유는 DNN 처리를 기존 접근 방식으로 수행할 경우 제한된 대역폭과 대기 시간으로 인하여 IoT 에지 환경에서 실현할 수 없는 중앙 집중식 처리에 의존하기 때문이다.

Fig. 3. 
Blockchain-based DNN optimization processing

제안 모델은 그림 3처럼 IoT 에지 장치의 기능을 활용하여 분산 DNN 서비스를 최적화하도록 n개의 가중치 정보에 대한 누적 확률 값을 사용하고, IoT 에지 정보의 인덱스에 가중치를 부여하기 때문에 IoT 에지 정보간 연계가 효율적으로 처리된다. 또한, IoT 에지 정보의 인덱스 정보와 트랜잭션 정보는 블록체인 기반의 해쉬 체인을 사용하기 때문에 IoT 에지 정보의 불법적 접근이 사전에 예방될 수 있다. IoT 에지 정보간 속성 정보들은 식 (1)처럼 (IoT_Attr_i, IoT_Attr_j)간 상관 정보를 행렬로 처리한다.

여기서, L은 IoT 에지 정보의 총 개수를 의미한다.

제안 모델에서 IoT 에지 정보의 가중치는 가중치 확률 이론에 기반하여 식 (2)처럼 생성한다. 가중치 확률 이론은 IoT 에지 정보를 제3자에게 불법적으로 노출하지 않도록 계층적으로 가중치를 추출하기 위해서이다.

제안 모델의 IoT 에지 정보는 식 (3)~식 (4) 처럼 가중치 생성 확률을 생성한다. 제안 모델은 추가 정보 없이 IoT 에지의 중요 정보를 해쉬 처리한다.

제안 모델은 그림 3의 정보를 블록체인의 한 블록으로 처리하여 클라우드 서버로 전달하면, 클라우드 서버는 IoT 에지 정보를 체크하고 변경된 정보만을 처리한다.

이 절에서는 스마트 팜에서 재배되는 작물들의 생육 정보를 일정시간 간격으로 수집하고 클라우드 환경에 있는 서버로 전달하여 정보를 모니터링하거나 분석하여 피드백 정보를 반영할 수 있도록 표 1과 같이 데이터 셋을 분류(SVM(Support Vector Machine), MLP(Multi-layer Perceptron)) 및 학습(KNN(K-nearest neighbors)하여 시뮬레이션을 수행하였다.

시뮬레이션에서 IoT 에지 장치를 포함한 네트워크 범위는 100로 설정하고, 대역폭은 10MHz/5MHz으로 설정한다. IoT 에지 장치의 정보 생성 시간은 10/30분 간격으로 수행하고, 변동 보상 계수에 대한 한계 시간은 0.005s/KB로 설정하였다. 그 이외의 환경설정 값은 표 2과 같다.

성능평가는 스마트 팜에 구축된 IoT 에지 장치를 사용하여 IoT 에지 정보의 효율성, 정확성, 처리시간 등을 표 3처럼 평가하였고, IoT 에지 정보의 데이터 셋으로는 DNN 서비스 모델을 분석하기 위해서 Google Colab에서 지원하는 개발 언어 및 라이브러리를 사용하여 표 4처럼 분석하였다.