시각 단어 가방 기반의 가로수 종류 및 상태 분류 기법

2.1 무선 주파수 식별 기반 가로수 관리

이 시스템은 현장 작업과 실내작업으로 이원화된 가로수 관리를 개선하기 위해 무선 주파수 식별을 도입해 가로수와 무선 통신이 가능하고 웹정보시스템을 구축을 하여 가로수정보를 통합 관리할 수 있도록 하였다. 하지만 무선 주파수 식별 태그를 모든 가로수에 부착해야 되기 때문에 구축비용이 많이 들어가고 그에 따른 인력도 충원되어야 한다. 무엇보다 이 시스템은 현재 가로수의 상태를 알 수 없는 한계점을 지니고 있다[6].

2.2 컴퓨터 비전 기반의 잎사귀 분류

최근 잎사귀 영상 분류를 위해 컴퓨터 비전 기법을 접목한 연구가 활발히 진행되고 있다. 나뭇잎을 분류하기 위해 질감이 없는 배경과 잎사귀를 분할한 뒤, 잎의 윤곽의 곡률을 나타내는 특징을 추출하여 수종을 판별하거나[7], 최근에는 심층 신경망(Deep Neural Networks) 기법을 사용해서 잎사귀 훈련 영상을 학습한 후에 잎사귀 수종을 판별하는 기술이 소개되고 있다[8][9]. 더 나아가 잎사귀의 종류 뿐만 아니라 잎사귀의 질병도 분류하는 기법도 제안되고 있다[10]. 이 기법은 대비(Contrast), 국부 균질성(Local Homogeneity), 엔트로피(Entrophy) 등을 텍스처로 표현할 수 있는 특징으로 모델링하였고 서포트 벡터 머신(Support Vector Machine)을 사용해서 잎사귀의 질병을 분류해주었다.

앞에서 언급한 기법은 일반 디지털카메라로 촬영된 RGB 영상을 기반으로 잎사귀를 분류하는데 초점을 맞추고 있다. 이와는 달리 항공이나 위성에서 촬영된 초분광 영상으로부터 즉, 다채널 영상으로부터 열대우림 지역의 수종을 분류하는 접근 기법도 제안되고 있다[11]. 특히 이 접근 방식에서는 열대우림 수종을 구별할 수 있는 스펙트럼 영역대의 조합을 찾아 열대우림 수종을 분류하는 기법을 새롭게 제시하였다. 약 92%의 높은 인식률을 달성할 수 있지만 초분광 영상 촬영이 요구되는 제약이 있다.

2.3 기여도

이 논문의 기여도는 다음과 같다. 첫째, 이 연구에서는 기존의 잎사귀 분류나 초분광 영상을 기반으로 항공사진에서의 우림지대 분류 목적과는 달리, 가로수 영상 전체에서 가로수종, 훼손상태 및 황화현상을 분류하는 기법을 제안했다.

둘째, 이 연구에서는 국내 가로수종과 상태 인식을 위한 영상 데이터베이스를 자체적으로 수집했다. 향후 가로수종 인식을 위한 오픈 데이터베이스로 가치 있게 활용될 것으로 기대된다.

셋째, 이 논문에서 사용한 시각 단어 가방 기반의 가로수종 및 상태 분류 기법이 국내 가로수종 및 상태 인식을 얼마만큼 정확하게 할 수 있는지에 대한 궁금증을 해소함으로써, 향후 가로수종과 상태 분류를 위한 비교 평가 대상으로 활용될 것으로 기대된다.

3.1 접근 방법

시각 단어 가방(Bag of Visual Words)이란 국부 영역에서 에지의 특징을 사용해서 객체에 대한 특성을 모델링하는 기법이다[12]. 그림 1에서는 시각 단어 가방 기법의 예를 보여준다. 자동차, 나무, 연필 영상이 있으면 각자 고유한 특성을 알려주는 시각 단어들을 뽑아 객체 영상을 판별할 수 있다. 예를 들면 자동차는 차문, 바퀴, 헤드라이트로, 나무는 잎과 나뭇가지로, 연필는 연필심이나 연필대로 각각의 객체를 구별할 수 있다. 고유한 시각 단어를 찾는 방법은 그림 1의 두 번째 행에서 보듯이 영상과 시각 단어를 비교하여 히스토그램의 빈도수를 구해 객체 영상의 고유한 시각 단어를 찾는다.

Fig. 1.

Concept of bag of visual words

제안한 기법의 블록도는 그림 3과 같다. 1단계에서 4단계는 시각 단어 가방 모델링 과정이고 5단계는 분류기 학습 과정이다.

Fig. 3.

Block diagram of the proposed method

• • 1단계(데이터베이스 수집): 그림 2에서는 서울특별시의 가로수 수종현황을 도표로 보여주고 있다. 벚나무, 이팝나무, 은행나무, 메타세콰이어, 버즘나무, 느티나무가 가로수종의 90%를 차지하고 있다. 따라서 이 연구에서는 6종류의 가로수에 대한 데이터베이스를 구축하고 각 가로수 수종마다 100장씩 수집한다. 가로수 상태로는 가로수 없는 도로 영상, 훼손된 가로수, 황화현상을 포함한다.
  가로수 영상을 얻기 위해 이 논문에서는 인터넷 검색을 통해서 각 부류 당 100장의 영상 수집한다[13].
  
  

  Fig. 2.

  Status of street tree species in Seoul

• • 2단계(국부 특징 검출): 수집한 영상에서 공간적으로 균등한 샘플링 기법을 적용해서 각 샘플당 밝기의 방향에 따른 에지의 크기를 128차원의 특징벡터로 표현한다.
• • 3단계(코드북 생성): 128차원의 특징 벡터 집합들을 군집화 하여 센터벡터를 얻는다. 이때 센터벡터는 코드워드라 명칭하고 센터벡터의 집합을 코드북이라 일컫는다.
• • 4단계(이미지 표현): 코드북의 코드워드랑 각 영상의 샘플링 좌표에서 추출된 128차원의 국부 특징 벡터와의 거리를 비교하여 가까운 거리에 있는 코드워드에 빈도수를 증가시켜 히스토그램을 만든다.
• • 5단계(분류기 학습과정): 입력 테스트 영상이 주어진 경우, 가로수 영상의 수종과 상태를 분류하기 위해 4단계에서 추출된 시각 단어 가방 특징 벡터를 활용해서 분류기를 학습한다. 이때 사용된 분류기는 서포트 벡터 머신이다.

3.2 밀집 스케일 불변 특징 추출 단계

영상의 국부 특징을 추출하기 위해 밀집 스케일 불변 특징 변환(DSIFT, Denser Scale Invariant Feature Transform)이라는 기법을 사용한다. 밀집 스케일 불변 특징 변환이란 영상의 전체영역을 균등하게 나누어 샘플링 된 픽셀 위치에서 16x16 패치를 추출한 후, 각 픽셀 위치에서 수식 (1)과 같이 에지 크기를 계산하고 수식 (2)와 같이 에지 방향을 계산한다. 그런 후 16×16패치를 4×4패치로 16등분하고 각 4×4 패치에 대해서 앞에서 계산된 에지 방향을 8방향으로 양자화 한다. 따라서 총 128차원의 히스토그램 벡터를 얻게 된다[12].

이 히스토그램 벡터가 바로 밀집 스케일 불변 특징 벡터이다. 그림 4는 가로수 영상에서 밀집 스케일 불변 특징 벡터를 추출하는 과정을 보여준다.

• • 1단계: 균등 샘플링 과정을 입력영상에 적용한 후, 각각의 샘플링 된 픽셀좌표에서 8×8패치를 추출한다.
• • 2단계: 각각의 8×8 패치에서 수식 (1)과 (2)를 활용하여 에지방향에 따른 크기를 계산한다.
• • 3단계: 8×8 패치를 4개의 4×4 패치로 나눈 후, 각 4x4 패치에서 8방향으로 양자화 된 에지 방향에 대한 에지의 크기를 누적한다.
• • 4단계: 각각의 4x4패치에서 획득된 8차원 히스토그램을 연결해서 총 32차원의 히스토그램을 만든다. 이 히스토그램이 밀집 불변 스케일 특징 벡터이다. 참고로 그림 4번은 단지 이해를 돕기 위해 32차원의 밀집 스케일 불변 특징 벡터를 예시로 보여주고 있다. 즉 이 실험에서는 입력영상에서 8×8패치를 추출하지 않고 16×16 패치를 추출한다. 따라서 밀집 불변 스케일 특징 변환은 최종 128차원의 히스토그램을 출력한다. 자세한 사항은 참고문헌 [12]를 읽어보기 바란다.
  
  

  Fig. 4.

  Denser scale invariant feature transform

한편 촬영된 영상에서 동일한 객체일지라도 카메라의 각도 및 거리에 따라서 객체의 크기가 가변될 수 있다. 이러한 객체의 스케일에 불변적인 특징 추출을 위해, 이 논문에서는 멀티스케일 기법을 도입하였다. 여기서 멀티스케일이란 영상의 크기를 가변적으로 바꾸어 가면서 다양한 크기의 영상에서 특징을 추출하는 기법을 말한다. 이 논문에서는 총 9단계의 스케일 값을 사용하였다. 즉 스케일 값을 2¹, 2^0.5, 2⁰, 2^-0.5, 2^-1, 2^-1.5, 2^-2, 2^-2.5, 2^-3으로 가변하면서 입력 영상에서 밀집 불변 스케일 특징 벡터를 추출하였다.

3.3 코드북 생성 단계

그림 5에서는 코드북의 생성 과정을 보여준다. 그림 4에서 생성된 밀집 불변 스케일 특징 벡터 집합들을 K-평균 군집화(K-means Clustering)알고리즘을 이용하여 4096개의 군집을 만든다[15].

군집에서 센터벡터(코드워드)를 뽑아 오른쪽 그림처럼 집합을 얻는다. 여기서 코드워드의 집합을 코드북이라 정의한다. 즉, 이 단계에서는 구체적인 영상의 시각 단어를 뽑아 시각 단어 사전을 구성하는 단계이다.

Fig. 5.

Codebook generation step

그림 4에서 주성분 분석(Principal Component Analysis)은 선택사항이며 벡터의 차원이 클 때 차원을 줄이기 위해서 사용이 된다. 예를 들면 주성분분석을 사용하게 되면 128차원 특징벡터를 100차원으로 축소할 수 있다[16].

3.4 시각 단어 가방 생성 단계

그림 6은 시각 단어 가방 생성 과정을 보여준다. 예를 들어 벚나무 영상이 주어진 경우, 각 샘플 위치에서 밀집 스케일 불변 특징 벡터를 추출하여 코드북의 코드워드와 유클리드 거리를 계산하여 가까운 거리에 있는 코드워드의 빈도수를 증가시켜 히스토그램을 만든다.

Fig. 6.

Bag of visual words generation step

이 과정을 모든 샘플링 된 픽셀 좌표에 적용하면 시각 단어 가방이라 불리는 특징 벡터가 된다. 즉, 가로수를 구별할 수 있는 특징을 히스토그램으로 모델링하는 단계이다. 그림 6을 보면 왼쪽 벚나무영상에서는 첫 번째 코드워드의 빈도수가 많고 반면에 오른쪽 은행나무 영상에서는 두 번째 코드워드의 빈도수가 많은 것을 볼 수 있다. 이는 첫 번째 코드워드는 벚나무를 잘 표현하는 시각 단어이고, 두 번째 코드워드는 은행나무를 잘 표현하는 시각 단어인 것을 알 수 있다[12].

3.5 분류기 학습 단계

시각 단어 가방 생성 단계까지 과정이 완료되면 시각 단어 가방 특징 추출 과정이 종료된다. 하지만 입력 영상이 주어질 경우 이 영상이 어디에 속하는지를 판단하기 위해 분류기를 학습해야 한다. 분류기를 학습하는 기법은 여러 가지 있지만 제안한 기법에서는 서포트 벡터 머신을 이용하여 분류기를 학습한다[17].

그림 7은 분류기의 학습과정을 보여준다. 각 부류 별로 시간 단어 가방으로 모델링한 특징 벡터에 라벨 값을 할당해서 훈련 데이터 집합을 구성한다. 이때 일 대 다(One-against-All) 방식을 채택한다. 다시 말하면, 분류하고자 하는 부류는 라벨 값을 ‘1’로 할당하고 나머지 모든 부류의 라벨 값을 ‘-1’로 할당한다. 그리고 이 데이터 집합을 서포트 벡터 머신에 입력으로 주어 파라미터를 학습한다.

Fig. 7.

Classifier learning step

4.1 실험 환경

그림 8은 이 실험에 사용된 데이터베이스를 보여주고 있다. 이 연구에서 눈여겨 볼 사항은 가로수종류뿐만 아니라 황화현상이나 훼손된 가로수 및 가로수 없는 도로도 포함되어 있다는 사실이다. 9종류의 범주를 분류하기 위해 부류 당 100장의 영상에서 50장은 훈련 집합으로 나머지 50장은 테스트 집합으로 사용하였다. 코드워드 개수는 총 4096개이고 멀티스케일 기반의 밀집 불변 특징 변환에서 사용된 총 스케일의 수는 9개이다. 실험을 위한 시스템 환경은 다음과 같다.

Fig. 8.

Database

• • 운영 체제 : Windows 7 Professional K
• • 시스템사양 : Intel(R) Core(TM) i5-4690 3.50GHz
• • RAM : 16.00GB
• • 개발 도구 : MATLAB a2017b

4.2 실험 결과

그림 9는 코드워드 벡터를 시각적으로 표현한 결과이다. 그림에서 볼 수 있듯이, 다양한 패턴들이 존재하는 것을 알 수 있다. 이는 다양한 가로수종의 잎사귀와 같은 텍스처를 잘 표현할 수 있음을 말해준다[12].

Fig. 9.

Visualization of codewords

한편 이 논문에서 제안한 기법의 성능을 평가하기 위해, 영상분류 분야에서 많이 사용되는 정인식률 척도를 사용하였다. 정인식률이란 총 테스트 영상 개수에서 올바르게 인식된 영상 개수의 비율을 말한다[18][19]. 제안된 시각 단어 가방 기반의 가로수종 및 상태 인식 기법은 약 78%의 정인식률을 달성하였다.

표 1은 정인식률에 대한 좀 더 세부적인 분석을 위해 혼동행렬 결과를 보여주고 있다. 혼동행렬에서 색깔이 있는 대각선은 부류 별 정인식률을 나타낸다. 표 1에서 보듯이, 부류 별 정인식률이 가장 낮게 나온 가로수종은 버즘나무와 느티나무이다. 이러한 이유는 버즘나무와 느티나무의 잎사귀 모양과 색상이 유사하기 때문인 것으로 분석된다.

Table 1.

Confusion matrix

표 2는 코드워드 수에 따른 정인식률의 결과 추이를 보여준다. 코드워드의 개수가 16개, 64개, 256개, 1024개로 증가할 때에 정인식률의 결과도 증가하는 것을 볼 수 있다. 반면에 4096개와는 성능 차이가 미비한 것을 볼 수 있다. 따라서 이 논문에서는 코드워드의 개수를 4096개로 사용하였다. 참고로 코드워드의 개수를 4096개 이상으로 실험했을 때에는 메모리 부족 현상으로 결과를 도출할 수 없었다.

Table 2.

Change of the correct recognition rate, according to the number of codewords