Home

그림 3은 다단 형판 정합을 위한 처리 과정을 설명한다. 형판 정합은 다량의 영상에 대해 특징점 추출 없이 피사체의 형태를 활용하는 경우 효과적이며 영상의 해상도 및 샘플링 포인트, 피사체의 크기 비율과 회전 정도를 동일화시켜야 한다. 기존 방법의 자세한 설명은 [9]를 참고하기 바라며 이곳에서는 개선된 사항만을 다룬다.

Fig. 3. 
Processing for template implementation

∙손 영역 검출(Hand Segmentation, HS)

손 영역 검출을 위해 기존 연구에서 사용하던 최소 교차 엔트로피 문턱값을 이용한 전역 이진화 대신 영상 분할(Segmentation)에서 흔히 사용되는 Watershed 방법으로 전역 이진화를 실시한다.

• ① th(threshold, 임계값) 설정, pixelNo 설정
• ② 수평/수직방향 sobel filtering으로 경사도 크기(Gradients magnitude) 계산
• ③ th 값보다 작은 영역을 표식(Marker)으로 선정, th 값보다 큰 윤곽선 검출, 윤곽선 내 화소수를 pixelNo에 저장
• ④ 윤곽선 범위 내, 표식을 종자(Seed)로 삼아 Watershed 적용
• ⑤ 만약 pixelNo에 변화가 없으면 탈출, 변화가 있으면 th = th+1하고 ③으로 회귀
• ⑥ 연결성분 찾기(Connected component labelling)를 통해 이진화 오류를 보정

∙손바닥 영역 검출(Palm Segmentation, PS)

기존 연구에서 우리는 이진화 오류에 대비해 손 최장너비 기반 손바닥 검출 방법을 사용했는데 이때 손바닥 영역을 원으로 추정한다. 그러나 다양한 손 특성을 분석해보면 손바닥 형태는 원보다는 타원에 더 가깝다[11]. 이진화 손 영역의 중앙점을 기준으로 30도 각도 간격마다 간격 내에 놓인 윤곽선과 중앙점 간 최소점(그림 4의 붉은 점)을 찾는다.

Fig. 4. 
Palm area detection by ellipse estimation

이 점들의 위치로 최소 제곱합 근사를 시도하여 수식 (1)에서 주어지는 타원 일반식의 a, b, c, d, e, f, g를 추정한다[13]. 마지막으로 추정한 타원의 장축 길이에 근거하여 손목을 제거한다. 그림 4는 타원 장축 길이의 60% 위치를 분홍색 점으로 표시하는데 인식률 최적 위치를 찾기 위해 탐욕탐색(Greedy search)한다.

기존 연구에서 우리는 손가락을 모두 편 Major 그룹과 손가락을 모두 접은 Minor 그룹을 분류하기 위해 손 윤곽선에 그린 내/외접원의 지름 비율을 사용하였다. 그러나 이 비율만의 단독 사용으로는 완벽한 분류가 어려워 우리는 검출된 손바닥 영역의 넓이를 추가적인 특징으로 제안한다. 그림 3에서 보듯 손의 방향과 크기를 보정 후 손바닥에 해당하는 화소의 수를 세어 넓이를 추정한다. 이때, 손의 크기가 정규화된 상황에서 손가락을 펼친 제스처는 손가락을 접은 제스처에 비해 손바닥 영역의 화소수가 더 작다.

이 결과를 그림 5가 보여주는데, 파란 점은 Major 그룹에 해당하는 클래스 샘플이고 검은 점은 클래스 9, 붉은 점은 클래스 7에 해당하는 샘플이다. 그림 5(b)는 영상처리를 기존 방법으로 처리한 경우이며 5(a)가 개선된 방법을 적용한 결과이다. 5(b)에 비해 5(a)에서 양 그룹이 깨끗이 분리되는 것을 확인할 수 있다.

Fig. 5. 
Class sample distribution represented by radius ration and no. of pixels

기존에 우리는 Minor 그룹 내 정합을 위해 방향과 크기가 정규화된 그레이 영상간 형상 정합을 시도하였다. 본 논문에서는 이를 개선해 그레이 영상을 HoG 기술자로 표현 후 이를 정합하는 방법을 제안한다. 형판 정합은 원래 영상의 기하학적 정보를 그대로 유지해야 정합이 되는 반면, 막대그래프 정합은 형태나 위치 변화에는 둔감하나 대상의 기하학적 정보를 버리고 단지 분포 정보만을 기억한다. HoG는 형판 정합과 막대그래프 정합의 중간 단계에 있으며 블록 단위로는 기하학적 정보를 유지하되, 각 블록 내부의 분포 정보를 사용함으로써 지엽적인 변화에는 강인한 특성을 갖는다.

구체적인 HoG 기술자의 구현과정을 설명한다.

• ① 수평/수직방향 Sobel 필터를 적용하여 구한 화소별 경사도(Gradients), G_x, G_y를 계산
• ② 식 (2), (3)를 이용, 화소별 크기와 방향 계산[12]

• ③ 각 영상에 대해, 영상의 크기를 고려해 적당한 크기의 셀로 분할
• ④ 경사도 방향의 각 셀에서 방향별 화소를 분류
• ⑤ 경사도 크기의 각 셀에서 위 화소에 해당하는 크기를 합산하여 막대그래프 생성
• ⑥ 막대 그래프 계수값을 셀의 기하학적 위치에 기준하여 연결시켜 하나의 벡터 생성

① ~ ⑥ 과정을 그림 6에서 설명하는데 그림 6은 50×50 크기로 나눈 셀에 대해 8가지 방향(45º간격)으로 구한 막대그래프 예시이다. 셀의 개수가 총 16개고 셀당 8개의 막대 그래프 계수가 나오므로 최종 벡터의 크기는 16×8= 128이다.

Fig. 6. 
Histogram of oriented gradients descriptor

실험 영상은 10개의 클래스에 대해 피험자 17명으로부터 획득한 총 2000장의 중국 숫자 손 제스처이다. 그림 7에서 보듯, 200×200의 그레이 영상이며 손의 크기와 방향, 조명, 손목의 노출 정도도 제각각이다. 모든 실험은 적용되는 알고리즘만 달리할 뿐 동일한 데이터에 근거해 진행된다.

Fig. 7. 
Gesture images

우선 기존 방법과 새롭게 개선된 방법들을 추가할 때마다 달라지는 성능을 비교한다. 영상처리 방법을 단계별로 적용하고 다음에 손 영역 면적을 이용해 양 그룹을 분리한다. 마지막으로 Minor 그룹 내에 HoG 정합을 적용한다. 이때, 우리는 셀의 크기, 방향의 개수를 다양화한다. 셀의 크기는 2×2, 4×4, 5×5, 10×10, 20×20, 50×50, 100×100, 200×200로, 방향의 개수는 4방향, 8방향, 16방향으로 구분한다.

제안하는 방법에서 조명은 보상되기 때문에 조명 정규화를 위해 사용하는 블록 크기는 1×1로 고정한다. 최종적으로 기존에 발표된 중국식 손 숫자 제스처 인식 방법론과 성능을 비교한다. 모든 성능 비교는 4겹 교차검증을 통해 진행된다.

제안한 개선안의 최종적인 성능은 93.65%를 기록했다. 우리가 제안하는 방법의 성능을 검증하기 위해 기존 다단 형판 정합에 사용된 방법과 비교한 결과를 표 1에서 제시한다. 다단 형판 정합의 처리과정을 HS, PS, Major/Minor 그룹 분류를 위해 추가된 손면적(Area), Minor 그룹내 HoG 정합(Hog)로 분류 후, 3장에서 제안된 알고리즘이 적용된 경우를 ‘O’로, 기존 [9]에 적용된 방법을 사용한 경우를 ‘X’로 표시한다. 가령, 표 1에서 실험(Ex) 1은 모든 과정이 ‘X’이므로 기존 다단 형판 정합과 동일하다. 실험 9는 기존 다단 형판 정합 알고리즘에서 Major/Minor 그룹 분리 방법과 Minor 그룹내 형판 정합 알고리즘을 우리가 제안한 방법으로 대체한 경우이다.

우선, 우리가 제안한 4가지 개선에서 가장 효과적인 것은 Minor 그룹 내 HoG정합으로 보인다. 실험 6과 9, 실험 7과 8을 비교해보면 1.1%, 1.4%의 성능향상이 나타난다. 반면에, 개선된 손 영역 검출과 손바닥 검출을 단독으로 사용한 경우, 기존 방법에 비해 도리어 성능이 하락하는 것을 실험 1, 2, 3의 비교를 통해 확인할 수 있다. 또한 그룹 분류를 위해 면적을 추가하는 경우는 실험 1과 6, 실험 4와 7의 비교를 통해 0.25%, 0.05%의 인식률 향상을 기록한다. 둘째, 손 영역 검출과 손바닥 영역 검출은 상호간에 밀접한 관련을 갖는다. 제안한 개선안이 단독으로 쓰일 경우 성능하락을 보이나 함께 사용할 경우 기존 방법보다 1.35%의 향상을 보인다 (실험 1과 4). 또한 그룹 분류를 위한 면적 추가 역시 그림 5에서 보듯 손 영역 검출의 성능에 종속적이다.

따라서 이진화 성능의 검증은 이들 모두가 사용된 실험 1과 7의 비교를 통해 가능하며 1.45% 향상된 성능으로 볼 때, 적용한 이진화 방법의 상대적인 우수성을 추정할 수 있다. Minor 그룹 내 HoG정합에서 다뤄지는 셀의 크기는 4×4에서 20×20에서 가장 높은 성능 향상을 보이고 있다. 기대와는 달리 방향의 개수는 4나 8이 16방향보다 더 높은 성능을 기록한다.

제안한 개선안을 통해 가장 향상되는 클래스(Class)는 7과 9로 드러났다. 표 2에서 기존 방법론과 진행한 클래스별 성능 비교를 보여주는데, 클래스 7은 13.50%, 클래스 9는 14.50%의 성능 향상을 보인다. 중국식 손 숫자 제스처에서 흔히 발생하는 오류를 표 3에서 정리하는데, 클래스 7과 10의 혼동이 Minor 그룹 내 HoG 정합에 의해 극복되어 클래스 7의 인식률 향상을 야기하고, 그룹 분류를 위해 추가된 면적으로 인해 클래스 9가 Minor 그룹으로 오분류되는 경우가 줄어듬으로써 인식률의 향상이 나타나는 것으로 분석된다. 클래스 6과 9의 인식률 향상에도 불구하고 Major 그룹 내 오류는 1.40% 증가되었는데 이는 개선된 이진화의 결과물이 손가락 폭을 더 좁게 검출함으로써 형판 정합의 단순한 화소 합산이 클래스 2, 3, 4, 5 간 오류를 증가시키기 때문이다. 오류를 합산시 2.50%의 향상이나 본 논문이 제안하는 것은 손 영역 검출, 손바닥 영역검출, Major/Minor 그룹 분류를 위한 면적 추가, Minor 그룹내 HoG 정합을 통한 각 해당 오류의 개선이며, 표 3을 통해 이를 확인할 수 있다.