Journal Archive

데이터 정보를 시각화하기 위해서는 편집한 데이터를 직관적으로 분석해서 쉽게 결과를 도출해야 하는 동시에 양적·질적 정보가 모두 제공되어야 하므로 구성 환경 및 방법이 복잡하다. 특히, 공간 빅데이터 시각화 과정에서는 데이터의 양적인 특성으로 인해 시각적 표현 기법으로 나타내야 할 정보의 양이 방대하다. 좁은 공간상에 많은 정보가 함축되어 있다면 사용자는 시각화를 통해 정보를 얻기가 어려워지기 때문에 본래의 데이터가 갖는 의미를 변화시키지 않는 범위에서 데이터의 양을 축소시키는 방법(Data reduction methods)이 필요하다[9][10].

이에 그림 1과 같이 데이터를 구조화한 다음 시각화 구현을 위한 데이터 특성을 정의하고 편집하는 과정을 거친다. 그 후 정보와 시각화 결과 생성 단계에서는 사용자 간의 상호작용 단계를 고려하는 과정을 거쳐야 한다[11].

Fig. 1. 
Visualization process of bigdata information

본 연구에서는 웹에서 구현된 기존의 병해충예측지도 사례들을 살펴보았다[3][4]. 먼저, 국가농작물병해충관리시스템(NCPMS)에서 제작한 병해충예측지도[3]는 전국의 지리정보시스템(GIS)을 기반으로 하여 전국의 병해충 발생 현황을 한눈에 살펴볼 수 있으며 위험 수준 등을 저장할 수 있는 기능을 구축하였다. 또 다른 사례로, 경기도농업기술원에서 개발한 병해충 발생예보 지도[4]가 있는데, 이 시스템은 경기도 지역에 한하여 매시간별 자동기상관측자료를 가공한 기상도와 병해 예측을 볼 수 있는 정보시스템이다. 그러나 이 역시 주소검색이 잘 이루어지지 않아 이용자의 농장에 대한 정보를 확인하기 어렵고 확인할 수 있는 병해 종류도 적다는 단점이 있다. 두 사례 모두 방제법에 대한 정보를 함께 제공하고 있지 않아 불편함이 있다.

이에 반해 팜맵[6]은 경지에 대한 세밀한 공간정보를 제공하므로 위의 사례보다 정확한 예측 정보를 제공할 수 있다. 이에 본 연구는 팜맵을 시각화의 기반 골조로 활용하여 기존 시각화의 한계점을 보완할 방안을 제안하였으며 다음 표 1에서와 같이 기존 시각화의 한계점을 보완하기 위한 개선 방향을 정리하였다.

효과적인 병해충 예측 정보 제공을 위한 시각화는 나의 농장 즉, 이용자의 팜맵에 초점이 맞추어져야 한다. 더불어 이용자가 직접 기르는 작목과 궁금한 병해충을 수동으로 입력하는 것이 아니라 자동으로 예측되는 병해충에 대한 정보가 출력되어야 한다. 마지막으로, 해당 농장과 예측된 병해충에 적합한 방제법에 대한 정보가 제공되어야 한다. 여기서는 이용자의 농장뿐만 아니라 인접농장에서도 사용이 가능한 농약 및 방제법을 추천해주어야 한다.

웹 시각화를 위해 기상, 토양검정, 병해충 발생 등의 데이터를 구조화하는 과정은 그림 2와 같은 테크 파이프라인(Tech pipeline)으로 구성된다. 먼저, 공공빅데이터 수집 및 처리 과정(Data engineering)에서 시작해서 병해충 발생 유/무를 예측하는 이진분류(Binary classification) 알고리즘, 농장 작황 작물에 따라 세부적으로 병해충을 예측하는 다중분류(Multi label classification) 모델 학습까지 진행한다[5].

Fig. 2. 
Process of data structure for visualizing pest prediction models

이후 모델을 웹 기반 시각화에 용이한 데이터 형식으로 변환한다. 최종적으로 시각화 과정에서는 팜맵 데이터 기반의 병해충 예측 결과값에 대한 정보와 방제법 정보를 함께 제공한다.

팜맵 데이터 시각화를 위해서는 본질적으로 공간데이터의 특성을 파악해야 한다. 특히, 공간데이터가 포함하고 있는 위치·공간정보는 위치를 중심으로 지도 위에 데이터를 직관적으로 표현하기 때문에 데이터의 의미를 빠르게 이해할 수 있도록 도움을 준다. 다양한 센서를 통해 수집된 공간데이터는 점, 선, 면과 같은 벡터(Vector) 형태뿐만 아니라 위성사진, 항공사진과 같은 래스터(Raster), 도로망, 상하수도망, 전력망과 같은 그래프(Graph) 형태로 사용될 수 있다[12][13].

이 중에서 팜맵은 벡터 데이터로 볼 수 있으며. 이를 이용하여 벡터 데이터의 포인트를 활용하는 위치시각화나 벡터 데이터의 폴리곤을 활용하는 영역시각화에 접근할 수 있다.

이러한 공간데이터 활용을 위한 도구로는 ArcGIS, QGIS, Python, Mapshaper, Kepler.gl, flowmap, PowerBI 등으로 다양하다. 본 연구에서는 QGIS, Mapshaper, XrProjection과 같은 활용 도구들을 사용하였다. 공공데이터포털에서 제공하는 대부분의 지도 데이터는 Shapefile(SHP) 형식이므로 추후 스마트팜의 IoT 센서를 통해 온도, 습도, 토양, 작물의 빅데이터를 실시간으로 받아와서 병해충예측지도 서비스를 확장하기 위해서는 프로세스 간 통신 데이터 교환이 빠르며 효율적인 JSON 형식이 용이하므로 SHP 파일을 GeoJSON으로 변환해주는 작업을 거쳤다.

본 연구는 단순히 지도 이미지 제공에 그치지 않고, 이용자 교류 중심의 정보 전달을 위해 웹상에서의 데이터 구현을 목적으로 한다. 이를 위해 사용자의 관점에서 어떤 형태의 공간을 가시화시킬지에 대해 조정 작업을 거쳤다. 주로 Python의 Folium 라이브러리를 이용하여 시각화를 진행하였으며, Python의 다양한 웹프레임워크 중 Micro Framework 기반으로 단순하고 확장이 가능한 Flask[14]를 활용하였다. QGIS 플러그인을 통해서도 전체적인 지도 현황을 Python 스크립트로 생성한 후, HTML 형태로 전환하여 웹에서 확인할 수 있도록 하였다.

본 연구에서 제안한 맞춤형 방제법 정보를 제공하기 위해서는 실제 수집한 이질 빅데이터의 전처리 과정과 웹 환경에서 사용할 수 있는 데이터 형식으로 전환하는 과정이 수반되어야 한다.

본 연구에서 사용한 데이터는 공공데이터포털에서 제공하는 팜맵 정보, 기상, 토양검정, 병해충 발생 정보 등 총 55개 유형으로 전체 3,746,403건을 수집하였다. 그 중 상관관계 분석을 통해서 관련성이 높은 26개 요인으로 축소하였다. 해당 데이터는 유형뿐 아니라 형태도 다양하게 구성되어 있어 데이터의 정규화 및 보정 작업을 포함한 전처리 과정 작업이 요구된다. 이를 위해 SQLite를 이용하여 하나의 테이블로 데이터 세트를 정리하였고, Python에서 NumPy와 Pandas를 이용하여 Feature Scaling을 실시하였다. 이후 결측값을 처리하고 이산형 변수는 one-hot-encoding을 통해, 연속형 변수는 단위 통일 및 수치 보정을 통해 정규화하였다.

데이터 전처리 과정을 거쳐 구조화된 데이터는 정확도 기준으로 가장 높은 성능을 가진 MLP와 RF를 조합한 앙상블 기법(Ensemble learning)[15]을 활용하였다. 또한, Confusion Matrix를 활용하여 선별 요인의 최적 학습 모델 성능을 평가하였으며, 그 결과 정밀도 98.57%, 재현율 94.23%, 정확도 93.56%로 평가되어 예측률이 높은 것을 확인하였다[5]. 그 후, 확률 결과를 Python의 피클(Pickle) 모듈을 이용하여 저장하였다.

여기에 추가적으로 작물 및 농약정보는 농촌진흥청 국립농업과학원에서 제공하는 농약정보365를 통해 제공받아 12,558개의 품종 및 농약허용물질목록관리제도(PLS)에 등록되어있는 39,983개의 농약 데이터세트를 하나의 테이블로 통합하여 인접 농가와 함께 사용할 수 있는 방제법 및 병해충에 저항성이 강한 품종 추천을 웹에 구현할 수 있도록 하였다.

본인의 농장 즉, 이용자의 팜맵에 대한 병해충 예측 확률과 인접 팜맵의 정보를 효과적으로 제공하기 위해서는 팜맵 데이터 속성의 편집이 필요하다. 또한, 시각화의 확장으로서 지역별 산도 비교 및 팜맵 작황 현황을 전체적으로 살펴보았으며 해당 작업은 QGIS와 Mapshaper, Python을 활용하였다.

4.2.2 전체 지도 시각화

확장된 시각화 서비스를 위해서 전체 지도 시각화 또한 제공하였다. 농업 발전을 위해서는 본인의 팜맵 주변 이외에도 기상 및 토양 환경에 대한 데이터를 인지하는 것이 중요하므로 이용자들도 전체적인 데이터를 한눈에 확인할 수 있도록 해당 내용을 시각화하였다. 먼저 위치시각화 기법은 위·경도 좌표를 표시한 데이터를 통해 전반적인 패턴을 파악하기 용이하고, 영역시각화 기법은 영역을 나타내는 명칭이나 코드를 사용하여 분류하기에 좋다.

그림 4는 대표적인 위치시각화 기법 중 히트맵(Heatmap)으로, 2019년의 토양검정 데이터를 활용하여 지역별 토양의 산도(a)와 유효인산농도(b)를 비교한 모습이다. 그림 5는 영역시각화 기법 중 영역경계맵(Choropleth map)을 활용하여 팜맵별 작황 현황을 나타낸 그림이다. ‘논’, ‘밭,’, ‘과수’, ‘시설’ 등에 따라 색의 농도를 달리하여 값을 표시하였다.

Fig. 4. 
Heatmap for soil status

Fig. 5. 
Choropleth Map for each facility

본 연구에서 최종적으로 제안하는 팜맵 데이터 시각화 화면은 다음의 그림 6부터 8과 같다. 먼저 이용자가 자신의 농장 팜맵고유식별번호를 입력하면 이용자의 농장 정보(예: 토양, 병해충, 발생여부, 작물 등)와 작황 현황 등의 데이터로 병해충 예측 모델을 실행한다. 예를 들면 장수군의 팜맵 중에서 ‘09154544’의 팜맵 번호를 입력하면 결과 화면으로 ‘병해충예측지도 보기(그림 6)’, ‘인근 농가 보기(그림 7)’, ‘맞춤형 품종 및 농약 추천 결과 보기(그림 8)’ 등이 제시된다.

먼저, ‘병해충예측지도 보기(그림 6)’는 팜맵 팝업창에 병해충 예측 결과를 출력하여 병해충이 발생할 확률과 종류를 순위별로 보여주도록 하였으며, 해당 팜맵이 정확히 어디에 위치하는지는 Folium.Marker로 표시하였다.

Fig. 6. 
‘View pest prediction map’ page

Fig. 7. 
‘View user’s nearby farm-map’ page

Fig. 8. 
‘Result of custom species and pesticide recommendations’ page

두 번째로, ‘인근 농가 보기’ 화면(그림 7)은 이용자의 팜맵을 Folium.Marker를 이용하여 표시하고(연두색), 이용자 팜맵 주위의 인근 농가(보라색 반경)의 작물 재배 현황 또한 함께 파악할 수 있도록 제시하였다. 작물별, 병해충별로 각 분류 범주마다 적합한 농약을 파악한 후, 이용자의 농장과 인근 농장에서 재배하는 작물을 고려하여 모두에게 적합한 농약을 추천하였다.

세 번째, ‘맞춤형 품종 및 농약 추천 결과 보기’ 화면(그림 8)에서는 이용자가 재배하는 농작물의병해충에 저항성이 강한 품종을 추천한다. 또한, 팜맵에서 예상 발생 순위가 가장 높은 병해충에 사용할 수 있고 이웃 농장에 피해를 최소화할 수 있는 농약 추천 결과 등 상세정보를 함께 제시하였다.