Korean Institute of Information Technology

Home

The Journal of Korean Institute of Information Technology - Vol. 16 , No. 2

[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 16, No. 2, pp. 119-124
Abbreviation: Journal of KIIT
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 28 Feb 2018
Received 24 Nov 2017 Revised 11 Feb 2018 Accepted 14 Feb 2018
DOI: https://doi.org/10.14801/jkiit.2018.16.2.119

손의 피로를 줄이기 위한 모바일 점자 입력기법
이순용* ; 박지수** ; 김강현*** ; 손진곤****
*한국방송통신대학교 이러닝학과
**충남대학교 SW중심대학사업단 초빙교수
***한국방송통신대학교 컴퓨터과학과 교수
****한국방송통신대학교 컴퓨터과학과 교수

A Mobile Braille Input Method for Reducing Hand Fatigue
Soonyong Lee* ; Ji Su Park** ; Kang Hyun Kim*** ; Jin Gon Shon****
Correspondence to : Jin Gon Shon Dept. of Computer Science, Graduate School, Korea National Open University 86, Daehak-ro, Jongro-gu, Seoul, 110-791, Korea Tel.: +82-2-3668-4656, Email: jgshon@knou.ac.kr


초록

본 논문은 시각장애인이 모바일 기기로 데이터를 입력하는 방법 중 모바일 기기용 점자입력 앱(소프트웨어를 이용하는 방법)에 관한 것이다. 점자입력의 경우는 일반 키보드보다 많은 양을 입력해야 하므로 손의 피로도가 높아진다. 본 논문에서는 손의 피로도를 줄이기 위해 SBraille 방법을 제안한다. 이 방법은 점자를 입력하기 위해 사용자가 기준선을 설정하고, 6점을 위로부터 세 개 부분으로 나누어 4가지 입력 패턴을 사용하여 한번에 2점씩 3번 입력하는 방법이다. 성능은 기존의 모바일 점자입력 방법들과 비교하였는데, 해석적 방법으로는 손의 피로도를 손 근육동작의 총합을 표현하여 비교하였고, 실험적 방법으로는 입력방법에 따라 반복적으로 점자를 입력할 때 피로를 인지하는 시간을 비교하였다. 성능 비교 결과, SBraille 방법이 근육동작의 횟수가 가장 적고, 가장 늦게 피로를 인지하는 것으로 나타나, 손의 피로를 줄이는 점자 입력방법임을 알 수 있다.

Abstract

There are two kinds of methods regarding data input for the visually impaired on mobile devices: hardwareoriented, such as electronic Braille keyboard method, and software-oriented for the visually impaired, such as voice recognition software and mobile Braille input applications. This paper relates to the mobile Braille input apps, whose amount of typing is larger than that of a normal keyboard, thereby increasing hand fatigue. For reducing fatigue, we propose SBraille, which allows the visually impaired to input a 6-point Braille character by dividing 6 points into 3 parts and inputting 2 points at once. In order to input 2 points, four input patterns can be used. Each pattern is set by the baseline in consideration of the range of motion of the fingers, and tapping the right and left, or swiping up and down. Performance of SBraille, has been carried out by analytical and experimental methods. The analytical method has compared four mobile Braille input methods by a formular expressing fatigue of the hand as total amount of muscle movements. The experimental method has compared the time of the fatigue at using each method repeatedly. As a result, SBraille has the least amount of muscle movements and it gives less fatigue of the hand.


Keywords: visually impaired, braille, mobile braille input method, SBraille, hand fatigue

Ⅰ. 서 론

시각장애인이 객체를 선택하는 방법에 관해서는 많은 연구가 이루어졌다[1]. 그러나 모바일 기기를 통해 문자를 입력하는 것에 어려움이 여전히 있으며, 이에 관련된 연구도 부족한 환경이다[2].

시각장애인이 모바일 기기에서 문자를 입력하는 방법은 하드웨어적인 방법(전자식 점자 키보드 등)과 소프트웨어적인 방법(음성인식방법, 점자 입력방법 등)이 있다. 하드웨어적인 방법은 입력을 위한 기기의 구입비용이 높고, 휴대가 불편하며, 점자를 입력할 때 근육의 피로가 크다는 단점이 있다[3]. 소프트웨어적인 방법 중 음성인식방법은 입력이 간편하다는 장점이 있으나 주변 소음 등의 간섭과 개인정보 노출의 문제가 있다[2].

지속적인 입력으로 발생한 피로는 손가락을 사용하기 어렵게 하고, 피로의 누적은 손가락의 근육을 과도하게 사용하게 하여 근 골격계의 손상을 발생 시킨다[3][4]. 기존의 점자 입력방법들은 대부분 고정된 기준선을 사용하거나 객체의 위치가 고정되어 있는 방법을 사용한다. 이는 시각장애인들이 모바일기기 화면 위에서 손가락으로 고정된 객체의 위치를 찾아 입력해야 하기 때문에 불편하다[5].

본 논문에서는 시각장애인이 모바일 기기에 점자를 입력할 때, 기존의 점자 입력방법보다 피로를 줄이는 모바일 점자 입력방법을 제안한다.


Ⅱ. 관련 연구
2.1 기존의 모바일 점자 입력방법들

SingleTapBraille[5]은 한 손으로 점자의 모양 그대로를 손가락으로 찾아 터치하는 방법으로, 기준선과 입력 객체의 위치가 고정되어 있다. 따라서 시각장애인은 점자를 입력하기 위해 손가락으로 고정된 기준선과 객체의 위치를 찾아야 한다[5].

TypeInBraille[6]은 모바일 기기 화면의 가운데에 고정된 기준선을 중심으로 한 번에 2점씩, 모두 3번의 입력을 통해 점자 하나를 입력하는 방법이다. 입력방법은 기준선을 중심으로 왼쪽이나 오른쪽을 한손가락으로 터치하거나(●◯ 또는 ◯●의 입력) 두 손가락 혹은 세 손가락을 동시에 터치(●● 또는 ◯◯의 입력)한다. 이 방법은 기준선이 고정되어 있고, 양손을 사용해야 한다[5].

BrailleTouch[7]는 양손을 동시에 사용하는 방법으로 한 손에 세 손가락씩 모두 6개의 손가락으로 한번에 점자를 입력하는 방법이다. 이 방법은 입력을 위해 1개의 손가락을 사용하는 경우 나머지 5개의 손가락은 다음 입력을 위해 화면에서 떼고 있는 자세를 유지하기 때문에 손의 근육을 선택적으로 수축하게 하여 근육의 과도한 긴장을 일으킨다[4]. 3가지 모바일 점자 입력방법은 그림 1과 같다.


Fig. 1. 
Conventional Braille input methods on mobile devices

2.2 SBraille 모바일 점자 입력방법

SBraille 입력방법은 touch 제스처와 함께 swipe제스처를 활용하는 모바일 점자 입력 방법이다. 한손을 사용하고, 특히 점자입력을 위해서는 그 손의 엄지손가락만을 사용하는 간편한 방법이다[2].

이 방법은 먼저 그림 2의 c와 같이 모바일 기기를 한 손으로 잡고 그 위치에서 엄지손가락을 위로 스와이프하여 사용자에게 커스터마이즈된 입력 기준선을 설정한 후 4가지 패턴으로 점자를 입력하는 방법이다. SBraille의 4가지 입력 패턴은 그림 2와 같다. 그림 ab는 각각 기준선의 왼쪽과 오른쪽을 터치하여 입력하는 것을, 그림 cd는 각각 기준선을 중심으로 위와 아래로 스와이프하여 입력하는 것을 나타낸 것이다. 엄지손가락이 스와이프하는 범위는 엄지손가락이 움직이기 쉬운 영역을 사용하며, 키보드의 크기는 한손모드를 고려한 크기이다.


Fig. 2. 
SBraille input method on mobile devices

2.3 근육 피로의 유발 요인

사람의 손은 복잡한 동작을 수행하는데, 손의 동작은 손가락을 손바닥 쪽으로 구부리는 동작과 손등 쪽으로 펴는 동작, 손의 중심선을 기준으로 손가락을 오므리는 동작, 그리고 펴는 동작 등으로 나눌 수 있다. 이와 같은 동작은 근육의 수축으로 일어난다[4]. 지속적인 근육의 수축은 젖산 등의 부산물을 생성하여 근육의 피로를 발생시킨다. 근육의 수축강도가 일정하다면, 근육의 피로는 근육의 수축 횟수에 비례하여 발생한다[8]. 점자의 입력은 근육의 수축 강도가 일정하고, 입력의 횟수가 많은 손가락의 동작이다. 따라서 본 논문에서는 근육의 피로를 손 근육동작의 횟수로써 분석한다.


Ⅲ. 연구방법
3.1 연구개요와 대상자 선정

SBraille 방법의 성능을 평가하기 위해 기존의 입력방법 3가지와 피로도 관점에서 비교하기 위해 해석적 방법과 실험에 의한 방법을 이용한다. 해석적 방법은 점자를 입력하기 위해 발생하는 손의 피로를 근육동작의 횟수로 표현하여 4가지 방법을 서로 비교하였다. 이를 위해 점자 한 글자를 표현하기 위해 발생하는 근육의 피로를 수식으로 나타낸 후 각각의 입력 방법에 따라 점자 모형 63가지를 입력할 경우 근육동작의 횟수의 총합을 구하였다.

또한 실험에 의한 방법은 실험대상자를 선정하여 4가지 점자 입력 방법에 따라 같은 내용의 점자를 반복 입력하게 하여 피로감을 느끼는 시점을 비교하였다. 실험대상자는 총 14명(남 3, 여 11명, 나이 20.5 ±3.5세, 손가락 질환 없음)의 젊은 연령층에 해당하고, 모바일 기기를 하루 평균 4시간 이상 사용하며 정보검색이 가능한 사람들이다. 한편 실험에 사용되는 모바일 기기는 거의 동일한 크기와 무게의 기기를 이용하였으며, 실험에는 아이폰과 안드로이드폰 두 가지를 사용하였다.

3.2 해석적 방법

본 논문에서는 해석적 방법으로 손의 피로도를 근육동작의 횟수로 표현하기 위해 표 1과 같이 점자 입력에 사용되는 손의 움직임을 근육의 동작으로 구분하였다. 터치는 구부리는 동작, 들기는 협력 수축이 일어나 구부리는 동작과 펴는 동작이 동시에 일어나고, 위로 스와이프하거나 오른쪽/왼쪽으로 이동하기는 오므리는 동작, 아래로 스와이프하거나 왼쪽/아래쪽으로 이동하기는 벌리는 동작이 일어난다. 들기는 점자의 입력에 직접 관여하지는 않지만 다음입력을 위해 손가락의 자세를 유지하기 위해 근육이 협력수축을 하기 때문에 다른 동작과 비교하여 최소 2배의 피로를 느낀다[4]. 그리고 표 1로 부터 나온 손의 동작들에 가중치를 두어 식 (1)로 정의하였다.

Table 1. 
Hand movements involved in braille input behaviors
Braille Input Behaviors Hand Movements
touch flexion(Ff )
holding up flexion(Ff ) + extension(Fe )
swipe up,
move up, move right
adduction(Fadd)
swipe down,
move down, move left
abduction(Fabd)

점자입력방법의 피로도를 계산하기 위해 표 2와 같이 각 점자 입력방법별 입력횟수, 손가락의 동작과 입력할 때 사용하는 손가락 수를 구분하였다.

Table 2. 
Finger movements in each braille input method
Input method
(times, hand)
Finger movements(input) Fingers
SingleTapBraille [STB] (1~6,one) touch (●) one
TypeInBraille [TB] (2or3,both) touch the left of the baseline(●◯)
touch the right of the baseline(●◯)
two fingers at the same time(●●)
three fingers at the same time(◯◯)
one or two or three
BrailleTouch [BT] (1,one) six fingers at the same time(●) six
SBraille [SB] (3,one) touch the left of the baseline(●◯)
touch the right of the baseline(●◯)
swipe ouch of the baseline(●●)
right touch of the baseline(◯◯)
one

점자를 입력할 때 손의 피로도는 사용되는 손 근육의 동작 횟수들을 모두 더한 것으로 구한다. 여기서 손 근육의 동작은 표 1에서 나타낸 것으로 한정한다. 점자 한 개를 입력하기 위해 사용하는 손의 동작으로 발생되는 손의 피로도는 식 (1)과 같다.

Fone= i=1nFf+Ff+Fe+Fadd+Fabd(1) 

Fone는 점자 한 개를 입력할 때 발생하는 손의 피로의 총합이다. 여기서, n은 점자 한 개를 입력하기 위해 필요한 입력 패턴(터치, 스와이프 등)의 총수와 입력방법에 사용하는 손가락 개수의 곱이다. 또한 Ff은 구부리는 동작(flexor)의 피로, Fe는 펴는 동작(extensor)의 피로, (Ff + Fe) 는 펴는 동작과 구부리는 동작이 동시에 일어나는 동작의 피로, Fadd은 오므리는 동작(adductor)의 피로, Fabd은 벌리는 동작(abductor)의 피로이다.

한편, 손가락의 한 방향 동작들은 피로에 있어서 비슷하다고 보고 가중치를 1로 두었다. 그러나 다음 입력을 위해 손가락을 들고 있는 경우는 구부리는 동작과 펴는 동작이 동시에 일어난 것으로 보아 가중치를 2로 두었다.

3.3 실험적 방법

본 논문에서는 실험적인 방법으로 4가지 점자 입력방법에 대해서 해당 동작을 반복적으로 수행하여 피로를 느끼는데 걸리는 시간을 측정하는 실험을 수행하였다. 피 실험자들에게 본 실험에 대해 충분한 설명을 한 뒤에 4가지 점자 입력방법을 먼저 숙지하도록 하였다. 피 실험자들은 점자가 익숙하지 않기 때문에 점자를 단어나 문장이 아닌 글자를 입력하도록 하였고, 4가지 방법 모두에서 입력이 가능한 영어 점자를 선택하였다. 그리고 각 점자 입력방법 선택하여 10분정도 점자 입력이 익숙하도록 연습을 한 뒤에 본 실험을 실시하였다.

피로를 측정하기 위해 힘든 정도에 따라 6점에서 20점 사이의 점수를 매기는 운동 자각도(Borg Scale)를 사용하였다[9]. 이는 근전도와 비슷한 정도의 신뢰성을 가진 측정방법으로 피 실험자들에게 손가락이 뻣뻣해지는 정도를 13점으로 보정하였다.

한 사람이 네 종류의 점자 입력방법을 각각의 방법으로 점자를 반복적으로 입력하면서 손이나 팔의 아무런 통증 또는 피로(근육의 뻐근함)이 느껴지는 시점(TFF: Time to feel fatigue)인 보정된 13점에 도달하기까지 걸린 시간을 측정하였다. 하나의 점자 입력방법을 사용하여 반복적으로 점자를 입력하여 피로를 느낀 시점을 측정하였다. 손의 휴식을 위해 30분 이상 휴식을 하고 손의 피로감이 없음을 확인한 후 다른 점자 입력방법에 관한 실험을 실시하였다.


Ⅳ. 연구결과
4.1 해석에 의한 피로도 분석

4가지 점자 입력방법에 따른 손의 피로도를 비교하기 위해, 총합 피로도(Ftot)와 평균 피로도(Favg)를 구하였다(표 3 참조). Ftot 는 각 입력방법에 따라서 계산하는데, 63가지 점자를 입력할 경우 각각의 점자 입력에 대해서 사용되는 손의 동작(표 2참조)의 횟수를 식 (1)에 대입하여 모두 더하였다. FavgFtot 를 63으로 나눈 것으로 점자 한 자를 입력하기 위한 평균적인 손의 피로도를 나타낸다.

Table 3. 
Fatigue comparison among braille input methods
Input Method SB STB TB BT
Fatigue
Total(Ftot) 251 568 361 801
Average(Favg) 3.984 9.016 5.730 12.714

표 3에 따르면, 제안하는 점자 입력방법(SB)의 피로는 평균 피로도는 3.984이었고, SingleTapBraille(STB)이 9.016, TypeInBraille(TB)이 5.730, Braille-Touch(BT)가 12.714이었다.

결과적으로 점자 하나를 입력하기 위해 SB가 손 근육동작의 횟수가 가장 적고, 손의 피로를 적게 느끼는 방법임을 알 수 있다. 한편, BT는 다른 방법보다 많은 수의 손가락을 사용하며, 다음 입력을 위해 들고 있는 손가락의 개수가 많아 손 근육동작의 횟수가 가장 많고, 따라서 손의 피로를 가장 많이 느끼는 방법으로 평가된다.

4.2 실험에 의한 피로도 분석

피 실험자가 점자를 반복적으로 입력했을 경우에 점자 입력방법에 따른 손의 피로를 느낀 시간(TFF)을 측정한 결과는 표 4와 같다. 표 4에 따르면 SB는 점자 입력을 시작한 뒤 평균 7.5±2.71분이 지나서 피로를 느꼈으며, STB는 평균 7.43±0.64분이 지나서, TB는 평균 6.36±0.56분이 지나서, 그리고 BT는 평균 5.00±0.45분이 지나서 피로를 느꼈다. 결과적으로 SB가 다른 입력방법들에 비해서 피로를 가장 늦게 느끼는 방법으로 평가된다.

Table 4. 
TFF among braille input methods (unit: min)
Input Method SB STB TB BT
TFF 7.5±2.71 7.43±0.64 6.36±0.56 5.00±0.45

또한 TFF값에 관하여 통계적으로도 유효한지 검증하기 위해서 SB와 다른 입력방법들을 개별적으로 비교하였다(표 5 참조). 표 4에서 확인한 바와 같이 SB가 TB와 STB보다 피로를 느끼는 시각이 늦지만, 표 5의 따르면 통계적으로 유의한 수준은 아니다. 다만, SB가 BT보다 피로를 늦게 느끼는 것은 통계적으로도 유의하다.

Table 5. 
Comparison of TFF among Braille input methods
Comparison Target Average ± Standard Deviation p-value (p<.05)
SB vs STB 0.07 ± 3.0 0.93
SB vs TB 1.14 ± 3.70 0.29
SB vs BT 2.50 ± 2.74 0.01


Ⅴ. 결론 및 향후 과제

본 논문에서는 시각장애인이 모바일 기기에 점자를 입력할 때 손의 피로를 줄일 수 있는 SBraille 입력방법을 제안하였다. SBraille 입력방법은 하나의 점자를 구성하는 6개의 점을 한번에 2개씩 입력하는 방법으로서 이때 4개의 입력 패턴(왼쪽 touch, 오른쪽 touch, 위로 swipe, 아래로 swipe)을 이용한다.

또한 기존의 모바일 기기에서 사용하는 점자 입력방법인 SingleTapBraille, TypeInBraille, BrailleTouch에 대해 설명하였고, 이들과 SBraille 방법을 손의 피로도 측면에서 비교하였다. 이를 위하여 점자한 개를 입력하기 위해 발생하는 손의 피로도를 식(1)과 같이 정의하였고, 반복적으로 점자를 입력하는 과정에서 발생하는 손가락의 피로도를 서로 비교하였으며, 그 결과 SBraille 방법이 다른 3가지 점자 입력방법보다 피로도가 가장 적은 것으로 나타났다(표 3 참조). 아울러 점자를 반복적이고 지속적으로 입력하는 실험을 통하여 SBraille 방법이 다른 3가지 방법과 비교하여 손의 피로가 가장 늦게 느껴지는 방법으로 밝혀졌다(표 4, 5 참조).

SBraille 방법은 스와이프 기능을 이용함으로써 터치 기능만을 이용하는 다른 방법들에 비하여 손가락의 굽히고 펴는 동작을 줄일 수 있었고 이에 따라 피로도를 줄일 수 있었다고 판단된다. 특히 다른 입력방법들은 입력 객체의 위치 또는 입력 기준선이 고정되어 있는 반면에, SBraille 방법은 사용자에게 개별적으로 커스터마이즈된 입력 기준선이 자동으로 설정됨으로써 손가락의 위치에 상관없이 쉽게 점자를 입력할 수 있다는 것이 큰 장점이다.

향후에는 표본의 수를 늘려 반복적 점자 입력실험을 실시하고, 시각장애인을 대상으로 하여 피로도의 비교 실험을 수행하고자 한다. 또한 SBraille 방법의 개선 연구도 계속 추진하고자 한다.


Acknowledgments

이 논문은 2017년도 학술연구비 지원을 받아 작성된 것임.


References
1. J. W. Lee, Ji Su Park, Hyung-Geun Kim, and Jin Gon Shon, "Design and Implementation of A Cursor using Splitting and Magnifying Objects for Persons with Low Vision", JKIIT, 13(8), p133-138, Aug, 2015.
2. S. Y. Lee, "A study on a new mobile braille input method in mobile learning environment", M. S. thesis, Dept, e-Learning, Korea National Open University, Feb, 2017.
3. J. J. Wan, Z. Qin, P. Y. Wang, Y. Sun, and X. Liu, "Muscle fatigue: general understanding and treatment", Experimental & Molecular Medicine, 49(10), p1-11, Oct, 2017.
4. JL. Andréu, T. Otón, L. Silva-Fernández, and J. Sanz, "Hand pain other than carpal tunnel syndrome (CTS): the role of occupational factors", Best Practice & Research Clinical Rheumatology, 25(1), p31-42, Feb, 2011.
5. M. Alnfiaia, and S. Sampalli, "SingleTapBraille: Developing a text entry method based on braille patterns using a single tap", Procedia Computer Science, 94, p248-255, Aug, 2016.
6. S. Mascetti, C. Bernareggi, and M. Belotti, "TypeInBraille: a braille-based typing application for touchscreen devices", The proceedings of the 13th international ACM SIGACCESS conference on Computers and accessibility(ASSETS '11), 295, -296, Oct, 2011.
7. C. Southern, J. Clawson, B. Frey, G. Abowd, and M. Romero, "An evaluation of BrailleTouch: mobile touchscreen text entry for the visually impaired", Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services(MobileHCI '12), p317-326, Sep, 2012.
8. M. Nordin, and V. C. Frankel, "Basic Biomechanics of the Musculoskeletal System", LEA & FEBIGER, p102-103, (1989).
9. P. Spielholz, "Calibrating Borg scale ratings of hand force exertion", Applied Ergonomics, 37(5), p615-618, Dec, 2006.

저자소개
이 순 용 (Soonyong Lee)

2012년 2월 : 한국방송통신대학교 컴퓨터과학(이학사)

2017년 2월 : 한국방송통신대학교 이러닝학과(이학석사)

관심분야 : 모바일/웹 프로그래밍, 이러닝(e-Learning)

박 지 수 (Ji Su Park)

2013년 8월 : 고려대학교 컴퓨터교육과(이학박사)

2015년 12월 ~ 현재 : 충남대학교 SW중심대학사업단 교수

관심분야 : 분산 시스템, 클라우드, 모바일 클라우드 컴퓨팅, e-Learning

김 강 현 (Kang Hyoun Kim)

1989년 : 고려대학교 전산학전공(이학박사)

1990년 1월 ~ 현재 : 한국방송통신 대학교 컴퓨터과학과 교수

2014년 ~ 2016년 : 미국 인디아나 대학 초빙교수

관심분야 : 시뮬레이션, 네트워크 시뮬레이션, 이러닝(e-Learning)

손 진 곤 (Jin Gon Shon)

1991년 2월 : 고려대학교 전산학전공(이학박사)

1991년 3월 ~ 현재 : 한국방송통신 대학교 컴퓨터과학과 교수

2000년 ~ 현재 : ISO/IEC JTC1/SC36 Korea Delegate

2009년 ~ 현재 : 이러닝학회 부회장

2010년 1월 ~ 2010년 12월 : 정보처리학회 부회장

관심분야 : 컴퓨터통신망, 분산시스템, 그리드 컴퓨팅, e-Learning, 정보기술 표준화