IoT 오픈플랫폼 기술 및 증강현실을 활용한 농업 가이드 기술 구현

Ⅰ. 서 론

현대 농업은 1차, 2차, 3차 산업이 결합된 복합 산업으로 변신하고 있고, IT·BT·ET·NT 등 첨단기술과의 융합을 통해 6차 산업화되고 있으며, 고부가가치 융합산업으로 발전하고 있다. 국내 농가인구의 연령은 60세 이상의 고연령층이 41.8%를 차지하며, 장기적으로 고연령층에 비해 청장년층의 비율이 낮아 농촌의 노동력 부족이 심각해질 것으로 전망[1]하고 있다. 노동력 부족 현상, 농지감소, 기상이변에 따른 각종 재해 등의 문제를 극복하기 위해 국내외 각국에서 스마트농업이 도입되고 있다. 2015년 10월 농림축산식품부 보도자료에 따르면 스마트 팜은 현대화된 온실·축사에 센서나 제어기 등과 같은 통신장비와 환경관리 SW 설치·운영을 통해 스마트폰·PC로 농장 시설물의 원격·자동제어가 가능한 농장으로 정의한다. 스마트팜 구축을 통해 생산량 증가, 품질 향상, 노동력·에너지 절감 등 효과를 기대한다. 현재 스마트 팜이 적용된 국내 시설로는 비닐하우스가 98%로 가장 많은 비율을 차지하고 있다. 농림축산식품부의 ‘2014 농림식품 기술수준 평가’에 따르면 우리나라 농림식품 분야의 기술수준은 최고기술 보유국인 미국에 비해 74.8%로 선진국을 추격하고 있으며, 스마트농업은 네덜란드 등 유럽에 비하여 도입 단계로 볼 수 있다[2]. 표 1은 각 국가별 농업 ICT 융합 분야의 기술수준 및 격차를 나타낸다.

Table 1.

Agricultural ICT convergence technology level

미국, 일본, 네덜란드 등 선진국들은 농업 전 분야에 ICT 융복합 기술을 도입하고 있다. 고품질, 고수확 또는 재배비용 절감을 위한 다양한 요소 기술을 개발하고 있다. 첨단 기술이 융복합된 자동생산 시스템을 구축하고 식물공장, 농업 로봇 등 생산에서 유통에 이르기까지 단순 자동화나 기계화를 뛰어넘어 빅데이터를 활용한 데이터 농업을 실현하고 있다. 예를 들어 네덜란드에서는 농업 각 단계마다 ICT 기술이 접목된 스마트 농업으로 양질의 작물을 대량 생산해나가고 있다. 씨앗을 심기 전에 가장 필요한 일은 날씨, 토양 등 사전정보를 획득을 ICT가 접목된 측정기계들이 담당하고 있다. 기계로부터 도출된 데이터를 분석한 다음 양질의 토양을 조성하고, 가장 적절한 날씨에 씨앗을 파종하는 식이다. 농장에서 작물 경작 중 씨앗이 발아된 후에는 센서가 중요한 역할을 한다. 감자와 사탕수수 잎을 분석하면 그 안에 질소와 산소가 어느 정도 분포돼 있는지, 영양상태가 어떤지 등을 상세히 파악할 수 있다.

국내 동향을 살펴보면, 2009년~2013년까지 총 1,257억원이 스마트 팜 연구개발에 투자[3]되었으며, 연평균 11.1%씩 성장한 것으로 분석된다. 부처별로 살펴보면, 농림축산식품부, 산업통상자원부, 농촌진흥청이 연구개발 투자를 주도하고 있다. 우리나라 스마트 팜 연구개발은 시설원예를 중심으로 주로 자동제어와 환경위치정보, 생육정보 등의 내용으로 나타난다. 스마트농업의 단계를 기능적으로 살펴보면 모니터링단계, 제어단계, 최적화단계, 자율화 단계로 구분할 수 있다[4]. 모니터링 단계는 센서를 통한 정보와 연계하여 경고와 알람이 주요기능이며, 제어단계는 제품자체 또는 인터넷 연결 SW를 통하여 기능을 제어하거나 사용자 환경을 개인화하는 단계이다. 최적화 단계에서는 예방, 진단 등 최적화 알고리즘을 통해 서비스할 수 있는 기능을 가진 단계이며, 자동화단계는 이전단계의 모든 기능이 고도화되는 단계를 말한다.

본 논문에서는 제어단계 및 최적화단계 수준의 스마트농업 기술 도입을 위한 시스템을 개발하였으며, 논문의 전체 구성은 다음과 같다. 2장에서는 마커인식 기술을 활용한 시설하우스에 적합한 증강현실(AR, Augmented Reality) 기술 구현 방식 및 구현한 기능블록도에 사용한 아두이노 I/O를 제시하고, 3장에서는 시설하우스용 통합 컨트롤러 구현 내용 및 마커 활용 가이드 기술 구현 결과를 제시한다. 그리고 4장에 결론과 시사점, 그리고 향후 연구과제에 대해 논한다.

Ⅱ. 관련 연구

2.1 증강현실

가상현실(VR, Virtual Reality)[5][6]은 컴퓨터 등을 사용한 인공적인 기술로 만들어진 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 말한다.

증강현실[7][8]은 가상현실에서 파생된 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

증강현실 구현 기술은 크게 3가지로 분류되며, 디스플레이 기술, 영상 합성기술 그리고 마커인식 기술이 있다. 디스플레이 기술은 머리에 착용하는 HMD형태와 착용하지 않는 Non-HMD기술로 구분된다. HMD장치는 사용자의 눈앞에 반투과성 광학 합성기가 부착되어 있으며, 사용자는 광학 합성기를 통해 실세계 환경을 직접 보면서, 광학 합성기로 투사되는 가상 영상을 동시에 볼 수 있다. 이 기술은 광학 합성기를 통해 보는 실세계 모습이 실제보다 어둡게 보이며 가상 영상 역시 선명하지 않다는 단점을 가지고 있다. 또한 가상 영상에서는 영상의 해상도가 많은 영향을 받는 단점이 있다. 최근 사용자들의 이동성 증대와 편리성 요구의 증가로 핸드핼드(Hand Held) 타입의 디스플레이가 가장 많이 사용되고 있다.

영상합성 기술은 카메라 교정기술을 통한 합성기술과 교정기술 없이 합성하는 2가지 방법으로 구분된다. 효율적인 증강현실 시스템은 실제 환경과 가상 영상이 합쳐져야 하므로 실시간으로 사용자와 상호작용이 이루어져야 한다. 실시간 사용자와 가상 물체간의 상호작용을 통한 현실감 극대화를 위해 실제 카메라의 파라미터를 정확히 알아내는 카메라 교정 작업이 중요하다.

마커인식 기술은 마커를 이용해 상대적 좌표를 추출하고 가상의 실제 영상에 이를 합성하는 방식이다. 증강현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 정확한 영상을 얻기 위해서는 가상 객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라의 파라미터를 이용하여 영상에서의 위치를 파악할 수 있으며, 영상 속에서 위치를 파악한 뒤 그 부분에 가상객체를 겹쳐 원하는 화면을 얻는 방법이다. 이 때 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해 여러 대의 카메라가 필요하지만 대부분 1대의 카메라만 사용하기 때문에 3차원 위치 파악이 어려운 문제가 있다. 이를 극복하기 위해 마커인식 기술이 사용되고 있다. 마커는 컴퓨터 Vision 기술로 인식하기 용이한 임의의 물체를 의미한다. 주로 검정색 바탕의 특이한 색상이나 문양이 사용되며, 경우에 따라서는 기하학적인 형태나 3차원 객체를 이용하는 경우도 있다.

그림 2는 마커인식 기술 구현을 위한 좌표 체계이다. 본 논문에서는 증강현실 구현 기술 중 마커인식 기술을 활용하여 시설하우스에 적용하기 위한 시스템을 소개한다. 아두이노 오픈플랫폼을 활용한 통합컨트롤러를 개발, 공급함으로서 IoT기반 시설하우스 운용이 가능하도록 설계하였다.

Fig. 1.

Conceptual diagram of augmented reality product guide technology

Fig. 2.

Relationship between the coordinates of the marker and camera coordinates for estimation for image analysis

2.2 개방형 IoT 디바이스 플랫폼

지금까지 현실세계의 물리적 상황 정보를 수집하기 위해 RFID/USN 분야를 중심으로 연구되어 왔다[9][10]. USN은 센서 네트워크로부터 수집된 센서 데이터를 이용한 정보 서비스에 활용된 기술 분야이며, M2M(Machine-to-Machine)은 단말로부터 수집된 정보를 무선 접속 네트워크와 이동통신 네트워크를 통한 정보 전달 서비스이다. M2M 디바이스에서 수집한 정보를 가공하여 사용자에게 제공하는 수동적인 방법의 서비스가 제공되어 왔다.

이러한 USN과 M2M은 수동적인 형태의 서비스의 한계를 극복하기 위해 IoT(Internet of Things) 형태로 모든 사물이 스스로 정보를 생성하고 공유하기 위한 기술의 핵심이 바로 개방형 IoT 플랫폼이다. 그림 3은 대표적인 IoT 레퍼런스 모델, Y.2060 계층구조를 나타낸다.

Fig. 3.

ITU-T Y.2060 IoT reference model

국내 통신사별 서비스 플랫폼을 살펴보면 SKT의 Thinkplug, KT의 IoT Makers 등이 있다. IoT 디바이스 플랫폼 개발도 국내외에서 활발히 진행 중이다. 애플의 HomeKit, 구글의 Brillo‧Weave를 비롯하여 삼성전자의 ARTIK, Broadcom의 Raspbery Pi, Atmel의 Arduino 등이 있다.

본 논문에서는 하드웨어 플랫폼으로 이탈이아의 IDII(Interaction Design Institutelvera)이 개발한 아두이노를 사용하였다. 아두이노 플랫폼은 AVR 기반의 싱글 보드 마이크로컨트롤러를 사용하며, 자체적으로 IDE를 통해 컴파일된 펌웨어는 USB로 쉽게 업로드 가능하다. 센서 및 액추에이터 제어에 중점을 둔 오픈소스 하드웨어로 본 개발 연구에 적합한 오픈플랫폼 하드웨어 기술이다. 구현한 기능 블록도에 해당하는 아두이노 핀 구성도는 그림 4와 같다.

Fig. 4.

Open platform arduino pin configuration diagram

Ⅲ. 시설하우스 기기용 시스템 구현

3.1 오픈플랫폼을 이용한 통합컨트롤러 개발

작물의 상태 및 시설하우스 제어를 위하여 아두이노 IoT 오픈플랫폼 기술을 활용하였다. 기기 통합컨틀롤러의 기능을 정의하고, 오픈플랫폼 통신모듈을 유무선 통합모듈로 사용하였다. 탈착식 IoT환경센서를 내장하여 온도, 습도, CO2, 광센서 등 센서부의 데이터 수신, 해당 정보를 네트워크 모듈을 통해 모바일로 전달하도록 하였다. 온습도 등 제어모듈 구현을 위해 지능형 동작 제어 시스템 알고리즘을 구현하였다. 지정된 값을 이용하여 사용자 지정 동작점 도달 또는 미달 시 엑추에이터가 동작하도록 시스템을 구성하였다. 그림 5는 통합컨트롤러의 기능 블록도를 나타내며, 그림 6은 메인 MCU 회로도를 나타낸다.

Table 2.

Device integrated controller specification

Fig. 5.

The block diagram of device integrated controller

Fig. 6.

The circuit of main MCU

PC 및 유무선 네트워크 통합 모듈과의 인터페이스를 위해 USB 전용 칩인 Atema16U2 전용칩을 사용하였으며, 외부 클럭은 16MHz 크리스탈을 사용하였다.

그림 7은 PCB 시뮬레이션 제작 화면이다. 다운로드를 위해 ISP 회로를 추가 구성하였으며, 캐릭터 LCD 및 통신 인터페이스를 위한 회로도를 설계하였다.

Fig. 7.

Wired / wireless network integration module PCB simulation

또한 외부 전원을 사용하기 위해 LDO 레귤레이터인 NCP1117T50T3G를 사용하였으며, USB 통신 및 외부전원을 위해 비교기인 LMV358을 사용하여 USB전원 인가 시 PC와의 통신을 사용할 수 있다. 또한, 3.3V 외부전원 사용을 위한 LDO(LP2985)를 설계 적용하였다.

또한 IoT 환경센서 모듈과 Co센서 모듈, 외부기기 엑츄에이터 인터페이스 보드의 회로도를 설계하고 PCB를 제작하였다.

3.2 마커 활용 증강현실 제품가이드 기술

마커를 통한 증강현실 구현은 3D와 2D 정보 제공을 위한 유니티(Unity)와 카메라 마커 인식을 위한 뷰포리아(Vuforia) 이용하여 안드로이드 기반의 제품 가이드 정보 제공 어플리케이션을 제작하였다.

마커는 카메라 인식율을 높이기 위해 1차적으로 QR-code를 이용하였으며, QR 코드의 생성은 외부연결기기의 제작 번호를 이용하여 제작하였다. 그리고 마커 사이즈별 인식테스트를 실시하였다. 마커사이즈를 25*25, 50*50, 그리고 75*75를 대상으로 마커를 부착하여 1m~2m까지 0.5m 간격으로 마커인식 테스트 결과 최대 2m까지 마커가 인식되었음을 확인하였다. 테스트베드에 부착된 외부연결 기기 마다 증강현실 어플리케이션 서비스를 위한 마커인식 표식을 부착하였다.

증강현실에 제공될 외부연결기기의 기본 화면 이미지 데이터는 그림 11과 같으며, 개폐기, 양액기, 환풍기, IoT환경센서, 통합컨트롤러, 식물재배 LED, 급수모터, 배수모터, PLC, 조명기기 총 10종이 제작되었다.

Fig. 8.

IoT environment sensor module schematic

Fig. 9.

Actuator interface board simulation and PCB

Fig. 10.

Development environment for augmented reality implementation

Fig. 11.

Marker recognition result screen example

유무선 네트워크 중 무선 블루투스(V2.0)를 이용하여 연결기기 동작 테스트를 실시하였으며 모바일 통신 앱 화면은 그림 12와 같다.

- 외부 연결 기기 개수 : 10종
- 통신 방식 : 스마트폰을 이용한 블루투스 2.0

Fig. 12.

Smartphone Bluetooth communication application screen

Fig. 13.

The architecture of agriculture guide technology with IoT open platform and augmented reality service

본 연구를 통한 개발 제품 인증 테스트는 총 6건을 시행하였다.

함체방수 인증시험(인증등급 IP53등급), 온도검증 시험, 마커인증 시험, 전기안정시험 (규격표준번호: K60950-1), 전자파 내성 인증시험 (규격표준번호 :KS C IEC 61000-4-2), 신뢰성 인증시험 (규격표준번호 : KS C IEC60068-2-14)을 시행하였으며, 모두 정상 또는 적합 시험결과를 획득하였다.

또한 실증농가에 개발 시스템을 공급함으로서 IoT 시설하우스에 개발 기술을 적용하였다. 시료 실험을 위하여 테스트베드를 제작하고 외부 연결기기와 동작 실험을 실시하였다. 실증농가와 농업기술센터를 활용하여 개발 내용을 검증하였다. 실증농가A에는 개폐기, 환풍기, 급수펌프에 관한 마커인식 증강현실 기능을 구현하고 어플리케이션을 통해 서비스를 시행하였다. 실증농가B에서는 컨트롤박스를 설치 및 공급하고 환풍기, IoT환경센서, 개폐기 등 총 6구의 농기기에 실증하였다.

Ⅳ. 결론 및 향후 과제

본 논문에서는 시설하우스 기기 통합컨트롤러를 개발하여 IoT 연계 농업 시스템을 구축하였다. 개발 대상 기술은 시설하우스 기기 통합컨트롤러 및 사용기기의 사용법을 보다 쉽게 이해하고 사용할 수있으며, 작물의 상태 및 시설하우스 제어를 용이하게 하기 위한 목적으로 사용되었다. 증강현실을 활용하여 제품 가이드 서비스를 제공하였으며, 작물의 상태 및 시설하우스 제어를 위해 IoT오픈플랫폼 기술을 활용하였다.

국내에서 기존에 제공되고 있는 시스템은 스마트농업의 단계 측면에서 보면, 모니터링단계 수준으로 시설에 장착된 센서를 통하여 경고 및 알람 수준의 기능을 제공하였다. 본 논문에서 제안한 방식은 제어단계의 시스템을 제공함으로써 제품자체 또는 인터넷 연결 S/W를 통하여 기능제어가 가능하며, 사용자 환경을 개인화할 수 있다. 또한 제품 가이드 기술을 가상현실 서비스로 제공할 수 있어 제어단계 및 최적화 단계 수준의 시스템을 구현하였다.

본 논문의 개발 기술은 최소의 인원으로 시설하우스를 관리, 작물을 재배할 수 있게 함으로써 인건비 절감과 생산성 증가라는 경제적 효과에 기여할 뿐 아니라, 증강현실 및 IoT 활용한 스마트 농업이 가능해짐에 따라 시설하우스 농업 일자리 창출에 기여할 것으로 기대한다.

향후, 빅데이터를 활용하여 최적화 알고리즘을 개발하고 농업의 단계와 연계한 자동화를 실현하여 스마트농업 최적화단계에 도달할 수 있는 시스템을 개발할 예정이다.

References

• K. I. Sung, B. Y. Kim, H. G. Kim, M. H. Han, and K. H. Pack, "Analyzing and countermeasure for smart livestock farming based on ICT", A Study on the Policy of Convergence, p2-14, Jan), (2016.
• Joonyoung Lee, Shinho Kim, Saebom Lee, Hyeonjin Choi, and Jaijin Jung, "A Study on the Necessity and Construction Plan of the Internet of Things Platform for Smart Agriculture", Journal of Korea Multimedia Society, 17(11), p1313-1324, Nov), (2014. [https://doi.org/10.9717/kmms.2014.17.11.1313]
• Ministry of Agriculture, Food and Rural Affairs, "A Strategy on the Promotion of ICT Integration Smart Farm", Oct), (2015.
• Kwon, Kyung Suk, "Research and Development of Livestock Farm Using ICT Integration Technology", Korean Journal of Agriculture: Power and resources, 59(2), p38-45, May), (2017.
• "VRML Virtual Reality Modeling Language", www.w3.org [accessed: Jun. 05, 2018].
• Matthew Schnipper, "Seeing is Believing: The State of Virtual Reality", The Verge, Retrieved 7, Mar. 2017.
• Wagner, Daniel, and Dieter Schmalstieg, "Making augmented reality practical on mobile phones, part 2", Computer Graphics and Applications, IEEE, 29(4), p6-9, Apr), (2009. [https://doi.org/10.1109/mcg.2009.67]
• Byung-Gon Chun, and Petros Maniatis, "Augmented smartphone applications through clone cloud execution", Proc. of the 8th Workshop on Hot Topics in Operating Systems (HotOS), Switzerland, Monte Verita, (2009).
• J. H. Lee, "What is a threat to South Korea’s livestock industry?", Focus attention GSnJ, (55), Livestock Industry Research Series 11, GS&J Institute, Seoul, Korea, Mar), (2008.
• C. S. Pyo, and J. S. Chea, "Next-generation RFID/USN technology development prospects", Korea Inform Communication Society Information Community, p7-13, (2007).