모바일 CBIR 앱 개발을 위한 플랫폼 구현

Ⅰ. 서 론

멀티미디어 콘텐츠의 다양성과 데이터베이스의 대용량화에 따라 정보화 사회는 텍스트 기반 검색 서비스와 함께 콘텐츠 기반 검색 서비스를 요구하게 되었다. 지금까지 사용하고 있는 텍스트 기반의 검색 방법은 모든 영상에 영상 특징을 별도의 키워드로 정의해주어야 하지만 영상의 객체나 배경에 따라 다양한 해석이 가능하므로 객관적인 키워드를 기술하는 것은 무리가 존재하며, 쉽고 빠르게 제작되어지는 영상정보에 일일이 주석화 작업을 하는 것도 번거로운 일이다. 따라서 텍스트 기반의 검색 방법과 함께 영상이 가지는 객관적인 특징을 이용하는 내용 기반 영상검색에 대한 연구가 활발해 지고 있다[1]-[3].

콘텐츠 기반 영상검색은 일반적으로 칼라, 형태, 질감 그리고 객체의 움직임에 의해 이루어진다.

칼라는 영상에서 객체를 식별하는 가장 중요한 특성요소이며 영상검색에서 가장 널리 사용되어지는 시각 특징 중의 하나이다[4]. 영상검색에서 칼라 특징을 표현하기 위해 일반적인 기법으로는 칼라 히스토그램이 있다. 칼라 히스토그램은 3개 칼라 채널의 세기에 대한 공동 확률로 나타내며 영상 내 객체의 각 구성요소에 대한 자세한 지식보다는 영상의 대략적인 성질을 나타내는데 더 적당하다. 또한 히스토그램 방법은 알고리즘이 비교적 간단하지만 물체의 회전이나 크기 변화 등에 비교적 강한 편이다. 그러나 서로 연관된 화소들 사이의 위치정보가 부족하기 때문에 대략적인 객체의 정보만을 가지므로 영상의 공간 정보가 상실된다는 단점이 있다.

형태 정보는 객체의 윤곽을 구분 짓는 특성으로 하나의 객체를 인식하기 위한 기하학적 속성을 제공한다[5]. 이는 객체의 윤곽 특징, 다각형 근사, 유한요소 등으로 표현할 수 있으며 객체를 이루는 윤곽선은 객체가 놓여있는 위치나 크기 등에 영향을 받지 않는다는 장점이 있다. 하지만 객체의 유사성에 대한 객관적인 형태 정의가 어렵고 형태 모양의 추출 및 모델링이 어렵다는 단점이 있다.

질감은 인간 시각에 있어 중요한 요소이며, 많은 실세계 영상들의 내용을 묘사하기 위하여 사용된다[6]. 위성사진이나 항공사진에 의한 지형 분석 등에 이용되며, 연관된 화소들 간의 주기적 관계의 공간적인 분포에 의해서 결정된다. 하지만 일정한 규칙성을 가지는 영상만이 분석 가능하다는 단점을 가지며 영상의 크기에 따라 계산량이 많으며, 통계값을 구하는 알고리즘이 복잡하다.

이와 같은 콘텐츠를 기반으로 영상검색에 대한 많은 연구가 진행되고 있으며 또한, 모바일 기기의 내부 메모리의 크기가 기하급수적으로 증가함에 따라 상시 저장되어있는 영상의 수도 이에 비례하여 증가하고 있다. 특히, 스마트폰의 급격한 사용 증가와 다양한 서비스 제공에 따라 이를 통한 콘텐츠의 생성, 처리, 유통 그리고 검색이 더욱 활발하게 되었으며[7], 영상검색에 있어서 카메라 내장 스마트폰은 영상정보를 쉽고 빠르게 생성할 수 있으며 또한 자체 내에서 소셜 네트워크를 통해 영상 정보를 보다 빠르게 유통할 수 있게 되었다. 이에 따라 영상정보 사용의 양적 증가는 가속화 되고 이를 효율적으로 관리 할 수 있는 알고리즘 개발에도 많은 관심이 집중되고 있다. 모바일 기기는 앞으로도 보다 빠른 속도와 대 용량으로 발전해갈 것이며, 이를 이용한 멀티미디어 콘텐츠의 활용은 가속화 될 전망이다.

본 연구에서는 스마트폰 카메라로 캡처한 영상정보를 실시간으로 자체 내에서 검색하는 모바일 CBIR 플랫폼을 제시하고 이를 검증을 위한 시스템을 구현한다. CBIR 알고리즘은 콘텐츠 속성을 고려하여 칼라 RGB 칼라를 사용하며 이를 통해 검색속도를 높이도록 한다. 또한, 잡음에 강인한 특성을 갖도록 4개의 히스토그램 블록을 단위로 엔트로피의 허용 오차범위를 갖도록 한다.

이를 위하여 제 2장에서는 모바일 검색 동향을 고찰하고 제 3장에서는 스마트폰 기반 실시간 영상검색 플랫폼을 제시한다. 그리고 제 4장에서는 CBIR 알고리즘을 적용한 실험을 통해 모바일 기기에서의 CBIR 플랫폼의 타당성을 입증하고 제 5장에서 결론을 맺는다.

Ⅱ. 모바일 영상검색 동향

모바일 영상검색에 대한 관심이 집중되고 있는 가운데 Yong-Jin Park 등은 모바일 기기에 적합한 색상 기반 영상검색 시스템 하드웨어 설계에 관한 논문을 발표하였다[8]. 그러나 전용하드웨어 설계로 영상검색의 속도를 높일 수 있지만 모바일기기에 별도의 모듈을 장착해야 한다는 단점을 갖는다.

Deok-Hwan Kim과 Yoon-Ho Cho는 모바일 인터넷 기반 이미지 검색을 위한 초기질의 자동생성 기법을 발표하였다[9]. 이는 텍스트 기반의 질의에 대하여 CBIR 기법으로 데이터베이스를 검색 후 사용자 스스로가 피드백을 통해 검색된 영상에 인덱스를 부여하는 방식을 취하고 있다.

Eunjung Han 등은 모바일 교육 시스템을 위한 효율적인 영상검색 구축을 발표하였다[10]. 이는 교육용 서적의 정규화된 영상을 인식하는 방법으로 인식률은 높일 수 있지만 정규화 영상을 텍스트화 시켜서 해당 텍스트에 상응하는 영상정보를 제공해주는 플랫폼으로 일반적인 이미지는 인식하지 못한다.

Moncef Gabbouj 등은 별도의 서버를 설치하여 CBIR 기법을 적용하는 방법을 제안하였다[11]. 그러나 알고리즘이 서버에서 실행되므로 네트워크에 연결되어있지 않으면 실행이 불가능하며, 데이터베이스 역시 서버에 존재하므로 사용자와의 경험적 연관성이 없다는 단점을 갖는다.

현재는 모바일 진단의료영상 서비스를 위한 시스템 구현이 실용화 단계에 이르러 메디컬 서비스를 상용화하기 위한 제도적 장치를 시도하고 있다[12].

이와 같이 PC 기반 환경에서 이미지 검색을 위한 많은 성공적인 CBIR 프로그램들이 있음에도 불구하고 모바일 환경의 CBIR 응용 프로그램은 상용화되지 못한 실정이다. 이것은 모바일 기기에서 지원하는 데이터베이스 한계나 디스플레이를 위한 출력영상의 한계와 함께 낮은 CPU 클럭, 적은 캐쉬 메모리, 입출력 속도의 지연 등으로 인하여 기존의 PC 기반의 처리방식과는 상용화나 실시간 처리에는 한계가 있다. 이러한 한계를 극복하고자 하드웨어를 설계하기도 하고, 정규화 이미지를 이용한 제한된 플랫폼을 제시하기도 하며, 텍스트 기반의 검색방법과 적절히 보완하는 방법을 사용하기도 한다. 하지만 이는 어디까지나 보완책일 뿐이며, 앞에서 언급한 바와 같이 범용성에 제약이 존재한다는 단점이 있으므로 이러한 단점을 개선하고자 내용 기반 영상검색을 일정 환경에서 실시간으로 실현 할 수 있는 모바일 CBIR 서비스 플랫폼을 제시하고자 한다.

Ⅲ. 스마트폰 기반 실시간 영상검색 개발

본 연구에서 제안하고자하는 모바일 CBIR 플랫폼은 정규화 되지 않은 이미지에 대하여 외부 기기를 사용하지 않고 모바일 내에서 실시간으로 검색하기 위한 것이다.

카메라를 통해 입력되어진 질의 영상을 내장 메모리에 저장되어있는 DB 영상과 효율적으로 비교분석하기 위하여 카메라와 내장 메모리의 제어가 이루어져야 하며 특징이 추출된 영상에 대하여 특징 정보를 비교한 후에는 버퍼에 상주되어있는 전처리된 영상데이터를 삭제함으로써 캐쉬 메모리를 효율적으로 사용 할 수 있어야 한다.

모바일 기기 상의 앱에서 가장 민감하게 인지하는 요소는 프로그램의 처리속도이다. 스마트폰내 영상검색의 속도는 다음 3가지 처리시간이 좌우하게 된다.

- 카메라 영상 캡처 및 이미지의 저장
- 스토리지 인덱스 생성과 스토리지 이미지 호출 후 버퍼에 상주
- 질의 영상과 DB 영상의 특성추출 및 비교

카메라로부터 영상을 캡처하여 저장하는 시간은 단일 동작으로써는 처리속도가 가장 길지만 단1회에 한정되고 처리되는 동안 사용자는 다음 행동을 위하여 움직이므로 처리시간을 민감하게 인지하지 못한다.

스토리지의 인덱스는 스마트폰 스토리지 자체에 구현되어있으므로 인덱스는 빠르게 불러올 수 있지만 이미지를 불러와 버퍼에 상주시키는 속도는 DB 영상의 영상크기와 스마트폰 성능에 따라 크게 차이가 나며 저장되어 있는 영상의 개수만큼 처리속도가 늘어나므로 처리속도를 좌우하는 주요한 요소이다. 하지만 스마트폰 앱 상에서는 컨트롤 할 수 없는 요소이다.

실질적으로 앱에서 검색 속도를 향상시키기 위해 영상의 특성을 추출함에 있어 연산량을 줄이는 것이 가장 효과적이다. 내용 기반 영상검색에 일반적으로 사용되는 특징정보는 칼라, 모양, 질감과 같은 요소가 있으며, 영상에서 추출할 특징정보는 검색 성능과 특성 추출 연산량을 고려하여 최적의 선택을 필요로 하게 된다. 알고리즘 구현을 위하여 먼저 CBIR에 대해 살펴보고 다음으로 CBIR 앱 플랫폼을 개발한다.

3.2 CBIR 플랫폼 개발

본 연구에서는 스마트폰 내에서 촬영한 영상정보를 질의 영상으로 하여 자체 내의 데이터베이스에서 실시간으로 관련영상을 검색하는 모바일 CBIR앱을 개발하였다. CBIR 알고리즘은 RGB 칼라와 블록 히스토그램을 조합하여 검색 속도를 높이며 잡음에 강한 특성을 갖도록 하였고, 플랫폼은 검색 알고리즘이 스마트폰 내에서 실시간으로 실현되도록 개발하였다. 그림 1은 제안한 알고리즘의 전체적인 과정을 보여준다.

색상 기반 영상검색 시스템은 다음과 같은 과정을 통해 수행된다.

- 스마트폰에 내장된 카메라로 검색하고자 하는 영상을 캡처한다.
- 캡처된 영상을 질의 영상으로 설정하고 칼라 RGB 히스토그램 속성을 추출한다.
- 스마트폰 내부 스토리지 메모리를 DB로 설정하고 DB의 파일 리스트를 요청한다.
- DB의 파일 리스트의 순서대로 DB에서 영상 파일을 요청하여 불러온다.
- DB 영상의 특징을 추출한다.
- 질의 영상과 DB 영상의 속성을 비교하고 순위를 결정한다.
- 상위 랭크된 DB 영상을 화면에 출력한다.

Fig. 1.

Algorithm flowchart for mobile CBIR app

스마트폰 내장 카메라에 의해 캡처된 영상을 질의 영상으로 한다. 캡처된 영상과 DB의 영상의 표준화된 특징 추출과 검출 속도의 향상을 위하여 질의 영상의 전처리 과정을 진행한다.

영상의 특성을 추출함에 있어 영상의 사이즈가 커질수록 연산량은 기하급수적으로 증가하기 때문에 적절한 사이즈로 변환이 필요하다. 그림 2는 영상 크기에 따른 연산속도를 도식화한 것이다. 본 논문에서는 스마트폰 화면 구성에 맞추어 128*128 영상으로 양자화 한다.

Fig. 2.

Processing speed according to image sizes

DB에서 읽어 들인 영상은 특성을 추출하여 비교 과정을 거친 후 영상의 파일명과 유사도만을 저장하고 영상데이터는 메모리에서 삭제한 후 새로운 DB 영상을 불러오게 된다. 이는 제한된 메모리에 모든 영상을 상주시켜 발생하게 되는 메모리 부족 현상을 방지함이 목적이다.

Ⅳ. CBIR 플랫폼 실험 결과 및 분석

본 연구에서 제안한 실시간 영상검색 알고리즘의 타당성을 입증하기 위하여 안드로이드 4.4.4(Kitkat)가 구축된 갤럭시 S3 (SHV-210K)를 이용하여 실험하였다. 그리고 스마트폰 내장 SD-카드를 데이터 스토리지로 설정하였다.

개발된 모바일 CBIR 앱의 타당성을 입증하기 위한 실험에서 데이터베이스는 Wang 데이터베이스 영상 중 버스 관련 영상 100개, 공룡 관련 영상 100개, 꽃 관련 영상 100개를 각각 사용하였으며 빨간 색상을 대표 값으로 갖는 버스는 79개, 빨간 색상의 공룡은 75개 그리고 빨간 색상의 꽃은 79개를 사용하였다. 그리고 질의 영상은 빨간색을 대표 값으로 갖는 영상을 선정하여 실험을 수행하였다. 또한 관련 영상으로 디스플레이 되는 출력영상의 유사도는 ± 5% 허용 오차를 갖도록 하였다.

그림 4는 안드로이드 스마트폰에서 CBIR 앱을 실행한 화면으로 그림 3의 질의영상에 대한 응답화면과 로그차트이다.

Fig. 3.

Query images

Fig. 4.

Execution screen of mobile CBIR app.

본 논문에서는 성능평가의 척도로 내용 기반 검색에 많이 사용되고 있는 재현율(Recall)과 정확도 (Precision)를 사용하였다. 재현율과 정확도는 내용 기반 영상 검색의 효율성을 부여한다. 재현율은 영상 데이터베이스 안에서 질의와 관련된 영상들 중에서 질의와 관련된 영상의 비율을 나타낸다. 재현율과 정확도는 아래의 식과 같이 나타낼 수 있다.

T : DB에서 질의와 관련된 항목의 총 수
Rr : 검색된 항목 중 질의와 관련된 항목의 수
Tr : 검색된 항목의 총 수

Table 1.

Experimental results

주어진 환경과 조건에서 실험한 결과는 질의 영상이 빨간 버스인 경우에 재현율은 89.87% 및 정확도는 87.65%, 빨간 공룡인 경우에 재현율은 76.00% 및 정확도은 76.00%, 빨간 꽃인 경우에 재현율 82.28% 및 정확도 80.25% 를 나타냄으로써 모바일 기기의 자체 기능만으로 CBIR 영상검색이 가능함을 보여주었다.

Ⅴ. 결 론

본 연구에서는 스마트폰 상에서 영상정보를 실시간으로 검색하는 모바일 CBIR 앱을 개발하였다. 제안된 시스템은 외부 기기의 활용 없이 사용자의 경험적 데이터베이스를 직접 검색하는 플랫폼으로써 스마트폰 상에서 카메라로부터 캡처된 질의 영상을 받아 스토리지 메모리 영상과의 유사도에 따라 상위 랭크된 영상을 출력하도록 하는 알고리즘이다. CBIR 알고리즘은 콘텐츠 속성을 고려하여 RGB 히스토그램을 사용하여 검색속도를 높이도록 하였으며 잡음에 강인한 특성을 갖도록 4개의 히스토그램 블록을 단위로 엔트로피의 오차를 허용하였다. 모바일 앱을 위해서는 안드로이드 OS 플랫폼을 사용하여 서비스 플랫폼을 구현하였다.

제안된 모바일 CBIR 앱은 Wang 데이터베이스 중 버스 관련 영상 100개, 공룡 관련 영상 100개 그리고 꽃 관련 영상 100개를 사용하여 성능을 험하였다. 실험 결과 재현률은 평균 82.7% 그리고 정확도는 평균 81.3%을 나타내어 모바일 CBIR 플랫폼으로서 그 타당성을 확인하였다.

Acknowledgments

이 논문은 2016학년도 조선대학교 학술연구비의 지원을 받아 연구되었음.

References

• Ying Liu, Dengsheng Zhang, Guojun Lu, and Wei-Ying Ma, "A survey of content-based image retrieval with high-level semantics", Pattern Recognition, 40(1), p262-282, Jan), (2007. [https://doi.org/10.1016/j.patcog.2006.04.045]
• Mussarat Yasmin, Sajjad Mohsin, and Muhammad Sharif, "Intelligent Image Retrieval Techniques: A Survey", Journal of Applied Research and Technology, 12(1), p87-103, Feb), (2014. [https://doi.org/10.1016/s1665-6423(14)71609-8]
• Jongwon Lee, and Jongho Nang, "Multiple Regionof- Interest Based Image Retrieval Method", Journal of KIISE : Computer Systems and Theory, 37(5), p314-318, Oct), (2010.
• Muhammad, Riaz, An, Youngeun, and Park, Jongan, "Feature Vector Extraction System Based on Adaptive Segmentation of HSV Information Space", Computer Modelling and Simulation, UKSIM '09. 11th International Conference, p239-244, Mar), (2009. [https://doi.org/10.1109/uksim.2009.39]
• Ji-Min Lee, Jong-An Park, and Young-Eun An, "Shape Retrieval based on the Line using Corner Patch Rearrangement Feature", Proceedings of KIIT Summer Conference, p49-50, Jun), (2015.
• Yothin Rakvongthai, and Soontorn Oraintara, "A Study on Image Retrieval Method Using Texture Descriptor", Signal Processing: Image Communication, 28(10), p1494-1505, Nov), (2013.
• Chong-Hoon Nam, "The Study on the factor influencing to smartphone adoption of foreign students in Korea", Journal of Digital Contents Society, 16(5), p749-756, Oct), (2015.
• Yong-Jin Park, Jinhong Park, Young-Jung Uh, Hyeran Byun, and Tack-Don Han, "Hardware Design of Color-based Image Retrieval System for Mobile Devices", Journal of KIISE, 38(2), p87-93, Apr), (2011.
• Deok-Hwan Kim, and Yoon-Ho Cho, "An Automatic Generation Method of the Initial Query Set for Image Search on the Mobile Internet", Journal of Intelligence and Information Systems, 13(1), p1-14, Mar), (2007.
• Eunjung Han, Anjin Park, and Keechul Jung, "Effective Image Retrieval for the M-Learning System", Journal of Korea Multimedia Society, 9(5), p658-670, May), (2006.
• Moncef Gabbouj, Iftikhar Ahmad, Malik Yasir Amin, and Serkan Kiranyaz, "Content-based Image Retrieval for Connected Mobile Devices", Proceedings of SPIE (Multimedia on Mobile Devices), San Jose, USA, Jan), (2005.
• Kwang-Man Ko, "Pattern Formalization Technique for Dynamic Analysis of the Medical Image Data", Journal of Digital Contents Society, 17(3), p197-202, Jun), (2016l. [https://doi.org/10.9728/dcs.2016.17.3.197]