문자 데이터 입력을 위한 스마트 장갑 시스템의 연구

Ⅰ. 서 론

장애인을 바라보는 시대의 시각은 배려와 보호의 차원에서 재활로 변화되어왔고, 장애인의 주체적인 삶을 중요시하는 자립 생활로 변화되어 가고 있다. 자립 생활은 개개인의 주체성이 기반이 되어야 하며 이는 신체와 정신, 경제적인 자립을 통해 스스로 생활할 수 있음을 말하지만, 장애인 활동 지원 서비스를 받기 위해서는 신체적인 활동에 제한되어 있으며, 청각 장애인의 경우 의사소통 지원이 반드시 필요하기 때문에 한계를 가지고 있다.

청각 장애인을 위한 정책은 수화 통역의 특수성[1]과 국내 사례[2] 및 해외사례[3] 등을 적용하여 청각 장애인은 제도의 대상에서 배제되었기 때문에 다른 제도를 통해 보완한다는 방침을 발표했지만, 단점 또한 존재한다. 지원책은 그림 1의 (a)와 같이 수화를 통역하는 사람에 대한 인력적 의존 서비스[4]로 구성되기 때문이다. 인력 양성에 대한 오랜 시간과 양성 비용뿐만 아니라 수화통역사와 청각 장애인 간의 다툼, 잘못된 통역 등으로 인하여 청각 장애인의 의사 전달의 오류 및 서로 간의 갈등이 커질 수도 있어, 서비스 확산에 걸림돌로 작용하고 있다.

Fig. 1.

Comparison of the existing method and the proposed method

통계청 자료에 보면 현재 우리나라에서 청각 장애인을 대상으로 서비스를 제공하는 기관 중 수화통역센터는 199개이며[5], 일반적으로 3명에서 5명의 통역사로 구성되어 있다. 전국 수화통역센터에 5명의 수화통역사가 있다고 가정할 시, 전국의 청각장애인 411,749명으로[6], 모두 응대하려면 수화통역사 1인당 413명을 담당해야 하는데, 부족한 통역사 수에 대부분의 수화 통역사들은 질병, 경찰서, 교통사고, 방송 등의 시급성이 요구되는 통역에 우선적으로 지원되고 있어 일상적인 생활에서 필요한 의사소통지원은 현저히 낮다고 할 수 있다.

수화통역센터의 대응 또한 변하고 있으며, 청각 장애인의 학력증가 및 사회 참여도가 높아지면서 수화통역센터에 요청하는 수화 통역의 유형이 변화되고 있다. 전문적인 강좌 혹은 교육 기간 동안에 필요한 통역 지원이 필요한 경우가 많지만 현재 수화통역센터의 인력으로는 지원이 불가한 경우가 많다. 후천적으로 청각 기능이 저하되거나, 사고로 인한 청각 장애인들의 경우 수화를 모르므로, 수화통역사를 활용하는 서비스가 아닌 청각 장애인과 비장애인이 문자 및 음성과 같은 다른 방법의 의사소통 지원이 모색될 필요성을 느낀다.

청각 장애인을 위한 서비스 마련에 필요한 시간 및 비용을 최소화하고 빠른 서비스 확산을 위해 IoT 기술을 접목한 수화 장갑을 기반으로 장애인 자신의 자립적 자생력을 확보할 수 있는 기술 개발이 필요하다. 사회 약자 계층인 청각 장애인을 위한 기술로써 장애인의 의사 전달을 위해 사용 되어지는 수화를 그림 1의 (b)과 같이 음성 및 문자 정보로 변환하여 스피커 및 화면으로 전달하여 일반인과의 직접적인 소통이 가능하도록 하는 기반 기술을 필요로 한다.

이 연구의 경우 플렉시블 센서가 내장된 장갑을 이용하여 손가락의 굽힘 정도에 따른 저항 변화값과 자이로 센서의 값을 입력 신호로 사용한다.

플렉시블 센서란 기존 상용화된 압력 센서의 단점을 보완한 센서라고 볼 수 있다. 기존 압력 센서의 경우 유연성이 없고 딱딱한 재질로 구성되어 기판과 함께 장착되는 구조를 가지며, 신체에 밀착될 경우 이질감이 존재하기도 한다. 데이터를 측정할 때에도 소형의 포인트를 측정하는 방식이어서, 넓은 면적을 측정하기가 어렵다. 정확도 측면에서도 초기에 가해진 압력에 대해서만 측정 가능하며, 압력이 가해진 뒤 크기를 변화시키더라도 압력의 차이를 측정할 수 없다는 단점이 있다. 측정 되더라도 플렉시블 센서에 비하여 데이터를 구분하는 단계를 세분화하여 압력 측정이 어렵기 때문에 한계가 있다.

이 논문에서 사용되는 플렉시블 센서는 일종의 섬유형 압력 센서로써 압력이 가해지면, 전도성 직물 사이의 폴리우레탄 유전층이 변형되며, 나타나는 저항의 변화를 감지해 압력을 측정하는 구조를 가진다. 섬유형 압력 센서는 다양한 압력 세기에 따른 저항의 변화를 감지할 수 있으며 ADC를 통한 데이터를 실시간으로 받아볼 수 있다.

저항값에 따라 굽힘 정도와 자이로 센서의 기울기를 판단하고, 구현 단어를 구성하며, 이를 활용하여 수화 표현의 불편함을 개선하고 저가형으로 시스템 개발이 가능하다. 동시에 청각장애인용뿐만 아니라 음성을 통한 언어 전달이 힘든 상황인 스킨스쿠버, 군사 작전, 소음이 심한 산업현장 등의 다양한 현장 접목이 가능한 기술로도 사용 가능하다.

Ⅱ. 관련 연구

수화를 인식하는 방법은 다양하게 존재한다. 유사한 방식으로는 핸드 제스처 인식이 있으며 카메라를 활용하는 영상처리 알고리즘의 사용과 손의 3차원 키 포인트를 활용한 방법, 이 논문에서 제안하는 글러브의 움직임을 인식하는 방법이 있다.

수화를 인식하는 방법에 있어 말레이시아 수화를 인식하는 방법[7]에서는 장갑의 색을 사용하여 정확도를 높이고, 특정 손 부위를 쉽게 검출할 수 있도록 제안한다. 장갑에는 색의 구분뿐만 아니라 자이로 센서 10개를 부착하여 해석된 정보를 블루투스를 통해 휴대폰으로 전송하는 구조로 구성된다. 평균 번역의 정확도는 알파벳 95%, 숫자 93.33%, 제스처 78.33%이며, 평균 정확도는 89%이다.

수화를 배울 때, 어린아이들이 쉽게 배울 수 있도록 도와주는 방법[8]의 경우 장갑의 길이가 일반적인 경우보다 긴 구조를 가지고 있어 컴퓨터가 손의 모양, 위치, 손의 움직임, 관절의 위치 등과 같은 수화의 세부 사항을 전달하는 이상적인 매개체 역할을 한다. 입력된 데이터는 노이즈를 필터링하고 다른 사람과 대화가 가능하도록 도와주는 구조를 가진다.

AcceleGlove를 사용하는 방법[9]은 전위차계 및 가속도계를 사용하여 손가락과 손 모양의 데이터를 가져온다. 전위차계는 팔꿈치와 어깨에 위치하며, 손의 절대 위치에 대한 정보를 보여준다[10]. 가속도계는 손가락, 손목 및 상완에 배치되며 방향 및 가속도 정보를 제공하는 데 사용되는 구조를 가진다. AcceleGlove는 사용자의 편의성을 위해 활성화 및 비활성화가 가능하도록 설계되어 있다. 손목에 위치한 버튼을 통해 결정한다.

국내에서 구현한 수화 통역 장갑[11]은 수화를 음성과 텍스트로 통역하고 IoT 시스템을 갖춘 방법이 있다. 이 시스템은 숫자 및 알파벳을 포함하여 232개의 문법 수화 단어 데이터를 10번 반복하여 저장하고, 동작마다 35회의 반복 테스트를 거쳐 81.61%의 정확도를 얻었다.

수화의 데이터를 저장할 때 순차 램 누적 방식을 활용하는 방법[12]이 있다. 이 방법은 램의 가중치없는 점을 착안하여 처리시간을 줄이고, 계산량을 줄일 수 있다는 장점을 가지고 있다.

카메라로부터 입력받은 연속적인 데이터를 이미지 처리하여 손의 엣지를 얻고, 이진영상을 전처리 과정없이 순차 램 기반 누적 신경망 시스템을 활용하여 93%의 인식률을 얻었다.

증강 현실을 활용한 핸드 제스처를 인식하는 인터페이스 활용 방법[13]에서는 입력 받은 영상에서 손 영역만 추출하고 핸드 마커를 활용하여 증강 객체를 생성 후 평균 인식률이 90% 이상을 가진다.

Ⅲ. 수화 알고리즘

3.1 수화 인식 알고리즘

한국 수화 체계의 경우 한국수화사전의 표준 체계에 따라 손의 모양과 손의 위치 그리고 손의 숫자에 따라 크게 3단계로 분류되어 있으며 현 기술은 손 모양에 따른 분류를 기술적으로 구현하고 이와 관련된 수신호 분석 체계를 정립하고 알고리즘을 구현한다.

입력 신호의 경우 플렉시블 센서의 손가락 움직임을 감지하는 Header Bit 부여를 통해 Master와 Slave를 구분하고 굽힘 정도를 3단계로 정의하여 각 조합을 30가지로 나누어 사용한다. Slave 데이터는 블루투스를 통해 Master로 전송되어 Master와 Slave정보를 취합하여 연산하며, 연산된 데이터는 메모리와 연동하여 출력되는 데이터가 결정된다.

자이로 센서의 경우 손동작을 감지하는 3축 정보에 대해 방향성을 부여하여 총 6가지(±X, ±Y, ±Z-axis)의 경우로 조합하되 Master와 Slave 데이터 조합에 따른 총 12가지의 경우로 구성하였으며, 손의 회전 정보값 계상을 가속도 센서 기능을 활용함으로써 이중 PID 제어를 통한 입력 신호의 오차를 정밀 보상하는 알고리즘으로 구현된다.

전체 시스템의 경우 1차적으로 수화 장갑을 통한 통역 처리를 완료하지만 3인칭과의 대화를 고려하여 수화 신호를 문자 데이터로 변환 가능하도록 한다. 변환된 데이터는 서버를 통해 각 매개체인 컴퓨터 또는 모바일 등에 WiFi 통신을 통해 정보를 전달하여 의사 전달이 가능하게 구현한다. 3인칭 상대와의 의사 전달 과정에서 3인칭의 채팅 프로그램을 통해 의사 전달과 역순으로 문자 정보를 수화 장갑으로 전달하여 LCD를 통해 양방향 의사 전달이 가능한 시스템으로 구현된다.

1차적으로 손모양을 기반으로 단순 Word Level에서의 수화 번역을 기반으로 수화 통역과 관련된 기술 검증 및 구현된다. Word Level 수화 분석 및 저장하는 알고리즘은 그림 2와 같은 시퀀스를 가진다.

Fig. 2.

Flowchart of word level sign language analysis and storage algorithm

데이터가 입력되면 포지션을 확인하고 감지한다. 자이로 센서의 입력을 고려하여 제스처인지를 판단하며, 5회의 입력을 통하여 제스처의 의미를 판단하고, 데이터베이스에 저장한다.

제스처를 정확하게 인식하기 위해 중요한 점은 플렉시블 센서로부터 입력된 데이터가 얼마나 적은 표준 편차인지에 따라 달라지므로 이를 고려하여 선택해야 한다. 그림 3과 같이 총 67개의 클래스로 분류하여 사용하며, 이를 7bit 2진수로 할당하여 구분한다.

Fig. 3.

Classification according to hand shape in Korean sign language

3.2 수화 분석 및 문장 생성 알고리즘

수화를 인식하여 단어를 만들어 냈다면 이를 문장으로도 재구성이 필요하다. 문장 재구성 알고리즘은 그림 4와 같다. 플렉시블 센서 및 자이로 센서를 통하여 특정 값의 입력이 인식되면 문장의 입력으로 인지한다. 문장 데이터의 입력을 해석하기 위하여 전처리 단계를 거치고, 문장의 음결을 분리하여 단어 형태로 분리한다.

Fig. 4.

Flowchart of sign language analysis and sentence reconstruction algorithm

단어 및 형태를 소분리하여 복합단어와 기본단어, 비수화단어 및 고유명사인지 등을 파악한다. 복합 단어의 경우 단어를 분리하며, 비수화 및 고유 명사의 경우 초성, 중성, 종성으로 분리하여 음성정보로 연결한다. 형태의 파악을 통하여 형용사 및 종사를 정합하며 단어 및 형태는 수화메모리에 연결하여 문장을 재구성하고, 문자 정보로 변환한다.

인식된 수화는 2진수로 데이터를 변환하여 수화와 연계된 데이터베이스에 접속하여 관련 정보를 피드백 받는 알고리즘으로 구성된다. 기본 단어 및 복합 단어의 구분 및 형태소를 인식하여 조/부사 등과 같은 조합어로 주요 연산 기능을 통해 수화를 해석하고 음성 및 문자 데이터로 전환한다.

수신호를 인지함에 있어 총 10개의 플랙시블 센서를 통해 1차 수신호의 인지 조합을 구성하고 2차로 자이로 센서의 3축 자이로 센서값의 변화량을 추출하여 2차 인지 조합을 구성함으로써 수화에 대한 인지 구조를 이진법으로 코드화함으로써 일정한 동작에 대한 동일한 결과값 도출이 가능하도록 알고리즘을 구성한다.

Ⅳ. 실험 및 결과

4.2 플렉시블 입력 데이터 측정

입력 데이터 측정은 아두이노의 입출력 포트와 브레드보드를 사용하여 기본적인 회로를 구현할 수 있으며, 하나의 손 부분의 연결을 아두이노 센싱을 활용하여 테스트한다. 손가락 정도 길이가 되는 센서를 가지고 테스트를 진행한다.

센서의 위치에 따른 값을 측정하기 위하여 센서를 3군데로 구분하여 진행한다. 그림 5와 같이 상단, 중단, 하단으로 구분하여 측정을 진행하며, 측정 각도는 그림 6과 같이 45, 90, 180도로 구분하여 측정을 40회씩 진행한다.

Fig. 5.

Measuring position of long flexible sensor

Fig. 6.

Classification according to the bending of flexible sensors

측정 결과는 표 1과 같으며 40회 측정에 대한 평균값을 나타낸다. 180도의 경우 플렉시블 센서를 구부리지 않는 상태를 나타내며, 입력데이터는 평균적으로 0임을 확인하였다. 각도가 커질수록 가해지는 압력이 커져 높은 측정값을 보인다.

Table 1.

Measurement results of long flexible sensors

4.3 플렉시블 센서 길이에 따른 정확도 비교

플렉시블 센서의 경우 길이에 따라 압력 값이 다를 수 있기 때문에 이를 고려하여 손가락 마디 구간에 사용할 수 있도록 더 짧은 플렉시블 센서로 데이터를 측정한다.

기존의 방법은 손가락에 길이가 긴 플렉시블 센서를 사용했다면, 이번 실험에서는 마디에 사용할 수 있도록 짧은 플렉시블 센서 2개를 사용하는 구조를 가진다. 그림 7과 같이 45, 90, 180도로 구분하여 측정을 40회씩 진행하며, 짧은 센서 또한 Top, Middle, Bottom으로 구분한다.

Fig. 7.

Measuring position of short flexible sensor

표 2는 짧은 플렉시블 센서의 평균 측정값을 나타낸다. 긴 센서와 마찬가지로 180도 입력데이터는 평균적으로 0이 나오며, 각도가 커질수록 측정 위치에 따라 여러 가지 데이터가 나오는 것을 확인하였다.

Table 2.

Measurement results of short flexible sensors

측정시 표준편차가 적을수록 높은 정밀도를 가지기 때문에 각 센서의 측정 결과를 가지고 표준편차를 구한다. 결과는 표 3과 같으며, Top의 경우 45도에서는 25, 90도에서는 29.5의 낮은 값이 계산되었다. Middle은 45도에서는 20, 90도에서는 2가 계산되고, 90도의 경우 미미하게 작아짐을 확인하였다. Bottom에서는 45도의 경우 8.6, 90도는 4.3로 계산된다. 모두 긴 센서에 비하여 짧은 센서를 사용했을 때의 표준 편차의 값이 더 낮은 표준 편차에 값을 얻음으로써, 더 정밀한 값을 측정할 수 있을 것이라 볼 수 있다.

Table 3.

Comparison of standard deviation of each sensor

Ⅴ. 결론 및 향후 과제

플렉시블 센서가 장착된 장갑을 사용하여 수화를 번역하는 시스템에 대해 연구하였다. 센서의 값과 자이로센서 등의 연산으로 67개의 클래스로 구분할 수 있으며, 이를 통해 99%의 높은 정확도를 보이나 남은 오차를 위하여 손가락의 꺾임을 판단하는 플렉시블 센서의 길이에 따른 측정을 비교하였다.

사람의 엄지 손가락을 제외한 손가락의 경우 2개의 마디가 존재하는데, 길이가 긴 센서는 상단이나 중단, 하단의 손가락이 꺾이는 경우도 고려해야 한다. 예를 들어 수화에서 주먹을 쥐는 경우 길이가 긴 플렉시블 센서의 중단뿐만 아니라 상단 혹은 하단의 영향으로 잘못된 통역 데이터가 출력될 수 있다. 이를 길이가 짧은 센서 2개로 각 마디에 사용하면 해결할 수 있다. 길이가 짧은 센서의 경우 2개의 출력 ADC 값이 존재하고, 이를 활용하여 원하는 마디에 값을 사용함으로 인하여 오동작의 경우를 줄일 수 있다.

플렉시블 센서의 길이에 따라 평균값이 다르지만 측정된 데이터의 표준 편차를 비교하였을 때는 표준 편차가 적은 센서를 선택해야 같은 각도일 때 정밀한 연산 값을 얻을 수 있고, 정밀한 단어 및 문장 구현이 가능하다. 각각의 데이터를 비교시, 센서의 상단 구간의 표준 편차 차이가 가장 컸으며, 중간 단의 경우 각도에 따라 차이가 확연하게 보인다. 하단에서는 상단에 비하여 적은 양의 표준 편차 차이가 보이는 것을 확인하였다. 이를 활용하여 더 낮은 표준 편차를 가지는 센서를 사용한다면, 정밀한 데이터로 동작할 것이라 보인다. 향후에는 손가락과 손바닥 사이의 마디에도 플렉시블 센서를 부착하여 더 정밀한 동작이 가능하도록 한다.

Acknowledgments

이 연구는 2021년 국립대학 육성사업비로 지원되었음

References

• H. B. You, "The Research of Information Support System in the Classrooms and Auditoriums for the Sign Language Interpreters", Journal of Digital Contents Society, Vol. 11, No. 4, pp. 513-518, Dec. 2010.
• J. S. Kim, Y. R. Shin, S. W. Lee, E. S. Lee, W. J. Han, and J. H. Lee, "Occupational Performance of Hearing-Impaired and Normal-Hearing Workers in Korea", Journal of Audiology and Otology, Vol. 25, No. 4, pp. 189-198, Oct. 2021. [https://doi.org/10.7874/jao.2021.00185]
• M. Revathi, "Online Training on Functional Sign Language to Teachers of Students with Hearing Impairment", International Journal of Computer Science and Mobile Computing, Vol. 11, No. 1, pp. 169-172, Jan. 2022. [https://doi.org/10.47760/ijcsmc.2022.v11i01.022]
• S. B. Choi, "Analysis on TV Sign Language Broadcasting Interpretation", The Journal of Special Children Education, Vol. 13, No. 3, pp. 77–99, Sep. 2011. [https://doi.org/10.21075/kacsn.2011.13.3.77]
• Korean Statistical Information Service, https://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd=2773, . [accessed: Jul. 21, 2022]
• Korean Statistical Information Service, http://kostat.go.kr/portal/korea/index.action, . [accessed: Jul. 21, 2022]
• A. Z. Shukor, M. F. Miskon, M. H. Jamaluddin, F. Bin Ali@Ibrahim, M. F. Asyraf, and M. B. Bin Bahar, "A New Data Glove Approach for Malaysian Sign Language Detection", Procedia Computer Science, Vol. 76, pp. 60–67, Dec. 2015. [https://doi.org/10.1016/j.procs.2015.12.276]
• K. Ellis and J. C. Barca, "Exploring Sensor Gloves for Teaching Children Sign Language", Advances in Human-Computer Interaction, Hindawi Limited, Vol. 2012, pp. 1-8, Aug. 2012. [https://doi.org/10.1155/2012/210507]
• J. Hernandez, N. Kyriakopoulos, and W. Lindeman, "The AcceleGlove: A Whole-Hand Input Device for Virtual Reality", ACM SIGGRAPH 2002, pp. 259, Jul. 2002.
• R. M. McGuire, J. Hernandez-Rebollar, T. Starner, V. Henderson, H. Brashear, and D. S. Ross, "Towards a one-way American sign language translator", in Proceedings of the 6th IEEE International Conference on Automatic Face and Gesture Recognition, pp. 620–625, May 2004.
• S. M. Koo, I. G. Jang, and Y. S. Son, "An Open Source Hardware based Sign Language Interpreter Glove & Situation Awareness Auxiliary IoT Device for the Hearing Impaired", KIISE Transactions on Computing Practices, Vol. 24, No. 4, pp. 204-209, Apr. 2018. [https://doi.org/10.5626/KTCP.2018.24.4.204]
• D. H. Lee, M. M. Kang, Y. K. Kim, and S. D. Lee, "Sign Language recognition Using Sequential Ram-based Cumulative Neural Networks", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 9, No. 5, pp. 205-211, Oct. 2009.
• M. S. Jang and W. B. Lee, "Implementation of Hand-Gesture Interface to manipulate a 3D Object of Augmented Reality", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 16, No. 4, pp. 117-123, Aug. 2016. [https://doi.org/10.7236/JIIBC.2016.16.4.117]