Home

화상회의 등 카메라가 필요한 온라인 시스템에서 편리하게 진행하기 위한 사용자의 위치를 관리하는 연구가 진행되어 왔다[6][7].

[6]은 다수 인원이 화상회의를 진행할 때 카메라 화면에 송출되지 않는 상황을 해결하려 한다. 음성인식을 통해 웹캠을 제어하여 인식된 얼굴을 보여주는 시스템을 제안한다. 하지만 사전에 사용자의 위치를 미리 지정한 상태에서의 카메라 제어여서 사용자의 위치를 정적으로 관리하는 한계가 있다.

[7]은 화상회의 시스템에서 사용자 위치를 동적으로 관리하는 방법을 제안하였다. 동적으로 변하는 사용자를 지속적으로 탐지하여 저장 및 갱신함으로써 사용자의 위치를 동적으로 관리한다. 하지만 추적과 동시에 발언자를 화면에 송출할 수 없다.

이 논문의 목적은 사용자 위치를 동적으로 관리하기 위한 것으로 사용자를 추적하여 위치에 대한 동적 관리를 지원해야 한다. 따라서 이 절에서는 사용자 추적 연구를 기술한다.

다양한 응용 환경에서, 다양한 사용자 추적에 관한 연구가 진행되어 왔다[9]-[11].

[9]는 영상센서를 사용한 기기에서 얼굴 추적방식을 제안한다. 얼굴 검출을 위해 MB-LBP 특징을 사용했고 얼굴 주변 영역을 지정하여 얼굴 추적한다.

[10]은 얼굴 인식 알고리즘에서의 다중 대상 인식이 낮은 얼굴 추적과 낮은 실시간 성능을 개선하기 위한 다중 대상 얼굴 실시간 감지 추적 및 인식 알고리즘을 설명한다. GOTURN을 기반으로 한 새로운 네트워크를 제공하고 MTCNN으로 얼굴 검출을 한다.

[11]은 비디오와 라이브 스트림에서 사람의 얼굴을 자동으로 추적하고 인식하는 것이 응용 프로그램에서 중요한 구성 요소임을 제시한다. 프레임 대 프레임 단위로 비디오를 처리하여 인간 식별의 정확성에 부정적인 영향을 미치는 것에 대한 해결책을 제공한다. S3FD를 기준으로 LSTM과 결합하여 시간이 지남에 따라 일관되고 부드러운 얼굴 탐지 결과를 생성하고 정확한 얼굴 인식으로 이어진다.

위의 연구들은 정확성을 위해 딥러닝 같은 다른 알고리즘을 사용한다. 하지만 실시간으로 작동하는 시스템에는 처리 속도가 상대적으로 느리다.

그림 1은 이 논문에서 제안하는 방법을 구현하기 위한 전체적인 시스템 구조도를 보여준다. 그림에서, 제안하는 시스템은 4개의 모듈로 구분되어 있고 물리적인 구조는 2층 구조로 되어있다. 모듈은 얼굴 인식 모듈, 추적용 카메라 모듈, 대화용 카메라 모듈 그리고 음성인식 모듈로 구성된다.

Fig. 1. 
System architecture

얼굴 인식 모듈은 사용자 이미지 데이터를 가져와서 학습을 시킨다. 그리고 해당 사용자의 가중치 파일을 생성한다.

추적용 카메라 모듈은 모터를 통해 각도를 조절하고 동시에 사용자를 식별한다. 사용자를 식별하면 해당 사용자의 위치 정보를 데이터베이스에 저장하는 역할을 한다.

대화용 카메라 모듈은 음성인식 모듈로부터 받은 이름 데이터와 저장된 사용자의 이름을 비교한다.

데이터베이스에 사용자의 이름이 있는 경우 해당 사용자의 위치 정보를 가져와 부착된 모터를 통해 저장된 위치로 모터를 회전시킨다.

음성인식 모듈은 시스템을 이용하는 사용자들로부터 마이크를 통해 입력을 받는다. 입력받은 음성을 STT(Speech-To-Text)를 이용하여 텍스트 형태의 데이터로 변환하는 역할을 수행한다.

물리적인 구조는 대화용 카메라와 추적용 카메라의 회전하는 시작점과 끝점이 동일해야 하므로 일직선 상에 위치하는 2층 구조로 구상한다.

그림 2는 이 논문에서 제안하는 방법을 구현하기 위한 프로세스를 보여준다. 그림에서, 실행 프로세스는 크게 세 개의 프로세스로 나뉜다. 시스템을 작동하기 전 사용자 이미지를 수집하고 학습하여 가중치 파일을 생성하는 프로세스(Collection and learning process), 시스템을 작동하면서 진행되는 사용자를 추적하는 프로세스(Tracking process) 및 사용자를 화면에 비추는 프로세스(Seeking process)로 구성한다.

Fig. 2. 
Proposed system process

Tracking process는 카메라를 항상 작동하여 가중치 파일에 학습된 사용자들의 얼굴을 식별한다. 식별된 사용자들의 위치 정보를 데이터베이스에 저장한다. 항상 작동하기 때문에 사용자의 위치가 움직여도 사용자를 식별하여 데이터베이스가 계속 갱신된다.

Seeking process는 STT(Speech-To-Text)를 이용하여 음성을 통해 사용자의 이름을 입력받아 텍스트로 변환한다. 변환한 텍스트와 데이터베이스를 비교하여 사용자의 위치 정보가 있는지 확인한다. 확인 후 사용자의 정보가 있는 경우, 그 사용자의 위치 정보를 가져온다. 가져온 위치 정보를 가지고 화면에 사용자를 해당 위치 데이터로 보이게 모터를 제어한다.

이 논문에서는 사용자 가중치 파일을 만들기 위해 Haar Cascade 기술을 사용하고 얼굴 인식에 Open CV를 사용한다. 제안 시스템은 작동되고 있는 동안 사용자를 식별해야 해서 인식 속도에 초점을 맞춘다. Haar Cascade는 다른 얼굴 검출 및 인식에 적용할 수 있는 다른 기술에 비해 처리시간이 특성상 월등히 빠르다는 특징이 있어 제안 시스템에서 사용한다[12][13]. 또한, 화상회의 또는 원격수업 같은 카메라를 주로 정면으로 응시하는 시스템에서 높은 성능을 보인다[14].

먼저, 사용자의 얼굴 분류를 위해 Haar Cascade Classifier를 학습시킨다. 얼굴 전면부를 검출하는 기학습된 모델을 사용하여 xml 파일을 생성한다. xml 파일을 통해 사용자의 얼굴 사진을 가지고 특징을 추출한다. 특징 추출 연산을 수행한 후에 추출한 특징으로 학습을 수행하여 yml 파일을 생성한다.

시스템이 동작 하는 동안 사용자 얼굴 인식을 위해 Open CV를 사용하여 식별한다. Haar Cascade를 통해 만들어진 yml 파일로 사용자를 식별한다.

제안 시스템을 서비스 측면에서도 사용을 고려하여 웹 스트리밍을 구상한다. 시스템을 동작시키고 웹에서 쉽게 시스템에 접근하여 활용할 수 있게 한다. 사용자의 위치 정보를 일정한 간격으로 나누어 구역을 지정하여 구역에 있으면 해당 구역표에 이름을 나타낸다.

그림 3은 대화용 카메라의 화면과 현재 사용자들의 위치를 구역별로 확인할 수 있는 웹 스트리밍 화면을 보여준다.

Fig. 3. 
Web streaming screen

실험 환경은 표 1과 같다. 시스템 구현은 python을 사용하고, 얼굴 인식 기술의 소프트웨어로는 Open CV와 YOLO를 사용한다. 카메라는 저비용으로 구매할 수 있게 추적용 카메라는 Logitech C270i를 사용하고, 대화용 카메라는 Logitech C170을 사용한다. 제안 시스템에서 추적 시 사용자 인식을 정확하게 하기 위해 비교적 좋은 성능의 카메라를 추적용 모듈에 사용한다. 카메라의 각도 제어를 위한 모터는 SG-90 서보모터를 사용한다. 마이크는 저비용으로 구매할 수 있는 USB 전원 형태의 CM-700USB 모델을 사용한다. 그림 4는 실제 구현한 프로토타입을 보여준다.

Fig. 4. 
Prototype for the proposed method

이 논문에서는 각각의 사용자 얼굴 사진을 1,000장씩 수집한다. 현재 상황을 고려하여 500장은 마스크 미착용한 사진이고, 나머지 500장은 마스크를 착용한 사진이다. 사진은 다양한 이미지 수집을 위해 안경을 착용하거나, 머리를 올리거나 모자를 쓰고, 표정을 다양하게 짓는 등 변화를 주어서 수집한다.

수집된 데이터들은 Open CV를 사용하여 레이블 된 영상 데이터를 훈련시켜서 yml 형식의 파일로 저장한다. 제안 시스템은 사용자를 식별할 때 저장된 yml 파일을 바탕으로 작동한다.

그림 5는 학습하기 위해 수집한 사용자 데이터 샘플을 보여준다.

Fig. 5. 
Sample of training data

기존 연구에서는 사용자의 위치를 동적 관리하지 못해 실험 평가를 진행하지 않았다. 그래서 본 논문에서는 제안 시스템을 정확성에 따라 정량적 평가를 수행한다. 제안 시스템에서 정확성이란 사용자를 화면에 정확히 송출하는 비율을 의미한다. 정확성 평가 요인, 즉 정확성에 영향을 주는 요인은 얼굴 인식과 위치 변화이다. 제안 시스템에서 위치 변화에 중점을 두기 때문에 얼굴 인식은 상수로 두고 실험 및 평가를 수행한다.

위치 변화의 영향 요인은 사용자의 위치 변경과 사용자들의 앉아있는 형태가 있을 수 있다. 또한 실내에서 마스크 착용 의무 사항을 고려하여 사용자의 마스크 착용 여부를 실험 요인에 추가한다. 실험은 마스크를 착용하거나 미착용한 상태에서 사용자가 한 줄로 앉아있을 때와 두 줄로 앉아있을 때의 상황을 고려하여 총 4가지 시나리오를 정의하고 이를 바탕으로 실험을 수행한다. 정확성은 시스템이 한 번 동작하는 동안 10회의 스캔을 하여 사용자를 인식한 횟수에 대한 수치로 평가한다.

정확성에 대한 수치는 사용자의 현재 위치 및 순서에 맞게 인식이 되었으면 참, 다른 사용자로 인식하면 거짓으로 하여 10회 중 참의 개수로 평균을 구한 것이다. 그리고 동적 관리가 되는지 확인하기 위해 10회의 스캔 중 5번째의 스캔 이후에 사용자의 위치를 변경하여 실험한다. 총 10회의 동작을 수행하고 단위 실험의 결과에 대한 정확성의 평균을 통해 최종 정확성을 평가한다.

첫 번째 실험은 마스크를 착용했을 때의 실험으로 사용자들의 위치가 한 줄일 때와 두 줄일 때를 나누어 실험한다. 두 번째 실험은 마스크를 미착용했을 때의 실험으로 첫 번째 실험과 위치는 같다.

그림 6은 사용자들의 위치가 한 줄로 나열된 상황을 보여주며, 그림 7은 사용자들의 위치가 두 줄로 자리한 상황을 보여준다.

Fig. 6. 
Users seated in a row

Fig. 7. 
Users seated in two rows

표 2는 마스크를 착용하고 사용자가 한 줄로 위치해 있을 때의 실험 결과를 보여준다. 전체적으로 약 70%의 정확성을 보였고, 위치에 변화를 주었을 때도 비슷하게 인식하는 결과를 보였다.

표 3은 마스크를 착용하고 사용자가 두 줄로 위치해 있을 때의 결과이다. 약 50%의 정확성을 보였으며, 한 줄로 위치해 있을 때보다 낮은 정확성을 보였다.

표 4는 마스크를 착용하지 않고 사용자가 한 줄로 위치해 있을 때의 결과를 보여준다. 약 82%의 정확성을 보였다. 반면 마스크를 착용하지 않고 사용자가 두 줄로 좌석을 배치했을 경우, 표 5에서와 같이 약 60%의 정확성을 보였다.

이 절에서는 앞서 기술한 실험을 통한 정량 평가 결과와 함께 기존 시스템[6][[7]과의 정성 평가 결과를 기술한다.

실험 결과에서, 마스크를 착용한 상태에서 좌석 배치가 한 줄인 경우가 두 줄로 배치된 경우보다 약 20%p 높은 성능을 보였다. 마스크를 착용하지 않은 상태에서는 약 22%p의 차이를 보였다. 사용자의 좌석 배치가 한 줄로 동일한 경우, 마스크를 미착용한 상태의 정확도가 착용 상태의 정확도에 비해 약 12%p의 높은 성능을 보였다. 또한 사용자의 좌석 배치가 두 줄로 동일한 경우에는 약 10%의 성능 차이를 보였다. 사용자가 두 줄에 위치한 상황이 인식률이 낮게 나오는 이유는 사용자끼리 겹치는 경우가 생겨 한 줄로 있을 때보다 인식의 오류가 발생하기 때문인 것으로 분석되었다.

표 6은 기존 시스템과 제안 시스템에 대한 정성 평가 결과를 보여준다. 기존 시스템은 STT와 사용자 추적 기능을 지원한다. 반면 동적 관리에 필요한 모듈의 동시 동작이 되지 않아 실시간 추적이 불가능하다. 그러나 이 논문에서 제안하는 시스템은 듀얼 카메라로 모듈 동시 동작하고 실시간 추적이 가능하게 하여 사용자 위치를 동적 관리할 수 있는 장점이 있다.