Current Issue

현재 OCR(Optical Character Recognition)은 다양한 분야(데이터 입력 자동화, 문서 편집, 문서 분류 등)에서 활용되고 있다. 그리고 구글, 카카오, 네이버 등 이러한 OCR을 제공하는 서비스도 다양해지고 있다[1]-[3]. 다양한 활용성에 비해 이러한 기술에 한계도 있다. 제공되는 OCR을 사용해 보면 OCR이 이미지 전체적으로 적용이 되기 때문에 특정 위치에만 OCR을 적용해야 할 경우에는 그에 맞는 템플릿을 사용해야 한다. 그렇지 않으면 이미지 내에 있는 모든 텍스트가 뒤섞여서 출력되는 경우가 발생한다. 또한, 이미지가 회전된 경우에는 OCR이 제대로 적용되지 않는 문제가 있다. 이러한 문제점에서 착안하여 이 논문에서는 원하는 위치에만 OCR을 적용하여 그 부분의 문자만을 추출하는 모델을 제안한다. 이 모델은 크게 3개의 단계로 구성된다. 사전 학습된 object detection 모델에 추가 학습을 진행하여 OCR을 적용하고자 하는 위치를 탐지하고(stage 1, stage 2) 해당 위치에만 OCR을 적용하여 텍스트를 추출한다(stage 3). 자세한 모델 설명은 모델 설계 및 학습 부분에서 다룬다.

이와 비슷한 과제를 수행한 논문으로 도서관 책 재고관리를 위해 책 제목을 추출하는 모델을 제안한 [4][5]가 있다. 우리는 [4][5]와 달리 object detection과 OCR을 결합한 방식을 사용하였고 이러한 모델을 실생활에서 사용되는 서비스 중 하나인 책 검색 서비스에 적용하였다. 책 검색 서비스는 책 표지 이미지를 찍으면 이미지로부터 책 제목, 저자, 출판사 등을 텍스트로 뽑아내어 이미지 속의 책을 검색해주는 서비스이다. 우리는 이러한 책 제목 검출 서비스를 책장에 다수의 책이 꽂혀 있는 이미지가 제공될 때 해당 이미지 내에 있는 책들 중 책 제목의 위치만을 탐지한 후 책 제목을 텍스트로 변환시켜 여러 권의 책을 한번에 검색해주는 모델을 구현하였다. 추가적으로 실제 서비스에서 사용될 때의 속도 개선을 위해 선택적으로 모델을 적용하는 방법도 제시한다.

본 논문에서는 책장 내 다수의 책 정보를 추출하는 모델을 구축하기 위해 책장에 수직으로 꽂혀있는 책등 사진과 한 권의 책등 이미지 데이터를 학습에 사용하였다.

데이터 정보는 표 1과 같다. 우선, 3024x3024 사이즈의 다수의 책이 꽂혀있는 책장 이미지 1500장을 수집하였다. 그 후 수집한 책장 이미지 1500장을 4분할하여 1512x1512 사이즈로 변환함으로써 총 2480장의 데이터를 확보하였다. 수집한 데이터에서 책장 내의 책이 기울어진 이미지, 빈 책장 이미지, 책이 가로로 눕혀져 있는 이미지는 제거하였다.

다수의 책이 존재하는 책장에서 책등을 탐지하는 stage 1의 Yolov5 모델 학습을 위해 총 2480장의 책장 이미지 데이터 중 871장을 사용하였으며 Labelimg를 이용하여 책장 내에 수직으로 위치한 책등에 대한 라벨링을 진행하였다[6]-[8].

단 권의 책등 이미지에서 제목 영역을 탐지하는 stage 2의 Yolov5 모델 학습을 위해 책등 이미지 데이터 1524장을 사용하였다. 데이터 중 제목 부분에 일러스트 및 부제가 과도하게 들어간 데이터는 제거하였고 나머지 데이터에 대해서 Labelimg를 이용하여 제목 영역에 대한 라벨링을 진행하였다. 각 단계에 사용되는 데이터의 형태는 그림 1과 같다.

Fig. 1. 
Train dataset examle per stage

논문에서 사용된 모델은 그림 2와 같이 총 3개의 단계(stage 1, stage 2, stage 3)로 구성된다. Stage 1과 stage 2는 object detection을 위한 과정으로 stage 1에서는 이미지 내에 있는 책들의 책등을 탐지하는 단계이고 stage 2는 stage 1에서 탐지한 책등 영역에서 책 제목 부분을 다시 탐지하는 단계이다[9]. 마지막 stage 3는 stage 2를 통해 검출된 제목 영역에 OCR을 적용해 제목 텍스트를 뽑아내는 단계이다.

Fig. 2. 
Model design

모델을 3개의 단계로 나눈 이유는 원본 이미지에 바로 OCR을 적용할 경우 책등에 있는 책 제목, 저자, 출판사 등의 텍스트가 뒤섞여서 출력되는 문제가 있었기 때문에 이를 방지하기 위함이다.

Stage 1은 원본 이미지를 넣어줬을 때 이미지 내에 있는 각각의 책에서 책등 부분만을 탐지하기 위한 단계로 object detection 모델을 사용하였다. Object detection을 위해 사용한 모델은 COCO dataset으로 pretrained된 Yolov5m모델에 우리가 수집한 학습데이터 721장을 넣어 추가 학습을 시킨 모델을 사용하였다. Optimizer는 Stochastic Gradient Descent(SGD)를 사용하였고 batch size는 16으로 설정하였다. 다른 하이퍼 파라미터 값은 동일하게 유지한 상태에서 epochs만 변경하며 모델을 학습시켰다. 학습된 모델들에 test dataset을 넣어줬을 때 epochs 100으로 설정한 모델이 가장 높은 recall값과 인식률을 보여주어 epochs 100으로 설정한 모델을 사용하였다.

Stage 2는 stage 1에서 탐지한 책등 이미지를 입력데이터로 받아 책등 내에서도 책 제목만을 다시 탐지하는 단계로 object detection 모델을 사용하였다. Object detection을 위해 사용한 모델은 COCO dataset으로 pretrained된 Yolov5s 모델에 표 1에 있는 책등 이미지만으로 구성된 stage 2용 train data 1524장를 사용하여 추가 학습을 시킨 모델을 사용하였다. 다른 하이퍼파라미터 설정은 stage 1과 동일하고 epochs만 150, 200으로 설정하여 각각 모델을 학습시켰다.

학습된 모델들에 test dataset을 넣어줬을 때 epochs 200으로 설정한 모델이 가장 높은 recall값과 인식률을 보여주어 해당 모델을 선택하여 사용하였다.

Stage 3는 stage 2에서 탐지한 책 제목 이미지를 입력데이터로 받아 제목부분을 텍스트로 추출하는 단계로 OCR 기법을 사용하였다. OCR 모델로는 Google Cloud Vision API를 활용하였다. 해당 모델을 바로 사용할 경우 성능이 좋지 않아 OCR 모델에 데이터를 넣어주기 전 전처리를 진행하였다[10][11]. 전처리로는 1.5배 resize한 후 보간법으로 INTER AREA를 적용하였고, 흑백변환 후 밝기조절을 적용하였다. 전처리가 적용된 입력데이터를 OCR 모델에 넣어 결과값으로 제목 텍스트를 출력한다. 출력된 제목 텍스트에도 특수문자, 공백제거, 중복 단어 제거와 같은 후처리를 적용하여 최종 결과물을 도출하였다.

이 논문에서 제안한 모델은 OCR을 적용해야 할 책이 많아질 경우 속도가 느려지는 문제가 있었다. 설계한 모델을 웹 애플리케이션에 적용하여 사용성을 높이고 느린 OCR 속도 문제를 보완하고자 하였다. 사용자가 웹 애플리케이션에 접속하여 책장의 이미지를 업로드하면 stage 1의 객체 탐지 모델이 추출한 bbox를 기반으로 사용자가 원하는 책(책등)을 선택할 수 있도록 하였다. 사용자가 책을 선택하면 stage 2의 객체 탐지 모델과 OCR 모델을 거쳐 최종 결과물을 도출하였다.

본 논문의 모델은 다수의 책이 있는 책장에서 여러권의 책 제목을 한번에 인식하는 기능을 제공한다.본 논문에서는 책등 영역과 책 제목 영역을 검출하는 과정을 두 단계로 분리하여 2개의 Yolov5 모델을 사용해서 객체 탐지의 정확도를 높이고자 하였다.

각 단계에서 정량 평가를 실시하여 stage 1 단계에서는 confidence threshold 0.35, epochs 100으로 학습한 모델, stage 2 단계에서는 epochs 200으로 학습한 모델을 사용하였다. stage 3 단계에서는 정량평가를 통해 입력 이미지에 흑백변환, resize(영역), 밝기조절을 적용하도록 하였다.

이미지 전처리를 통해 문자 인식 성능은 상승하였지만, OCR 단계에서 처리 속도가 길어지는 문제가 여전히 남아있었다. 이에 웹 애플리케이션에 해당 모델을 적용할 때 책등 검출 단계에서 사용자가 원하는 책을 선택하는 기능을 추가하여 느린 OCR 처리 시간에 대한 문제를 보완하였다.

향후에는 수직으로 세워진 책뿐만 아니라 기울어진 책에도 적용 가능하도록 Rotate Yolov5 또는 객체 분할(Object segmentation)을 적용하고자 하며, 디자인 폰트에 대한 인식률을 향상시키고 실행 시간을 단축시키기 위해 오픈 소스를 활용하여 OCR 모델을 제작하고자 한다.