시각장애인을 위한 텐저블 프로그래밍 학습 시스템의 개발

Ⅰ. 서 론

최근 소프트웨어가 우리 생활의 필수적인 요소가 되면서 프로그래밍 교육에 대한 수요가 지속적으로 증가하고 있다. 이에 따라 모든 사람이 소프트웨어 교육을 받을 수 있는 권리를 갖는 것이 중요한 교육 과제가 되었다. 이를 위해 다양한 형태의 컴퓨터 교육이 활발히 이루어지고 있는데, 컴퓨터를 사용하지 않는 언플러그드 활동, 교육용 프로그래밍 언어 사용, 센서보드나 로봇을 활용한 피지컬 컴퓨팅 등이 그것이다[1].

그러나 시중에서 쉽게 접할 수 있는 대부분의 컴퓨터 교육 및 자료는 비장애 학생을 대상으로 개발되었다. 특히 시각장애인이 프로그래밍을 배우기 위해 이용할 수 있는 컨텐츠나 도구는 매우 제한적이다. 그 이유 중 하나는 기존의 프로그래밍 교육 도구는 사용자의 시각에 크게 의존한다는 점이다. 예를 들어, 텍스트 또는 비주얼 기반 프로그래밍 도구는 화면을 보고, 터치하거나 키보드, 마우스 등 시각을 이용한 입출력 장치를 사용하고 있어 시각장애인들이 쉽게 사용할 수 없다[2].

이러한 문제를 해결하기 위해 최근 여러 학자들이 시각장애인을 위한 프로그래밍 학습 시스템을 개발하고 있다. 그 중 하나가 프로그래밍을 위해 가시성 대신 촉각을 사용하는 텐저블 프로그래밍 학습 시스템이다. 이 텐저블 프로그래밍에서 학생들은 컴퓨터와 물리적 개체를 통해 상호 작용할 수 있다. 이를 통해 사용자는 훨씬 더 직관적이고 쉽게 배울 수 있게 된다. 또한 시각 장애인도 촉각을 통해 주어진 프로그램을 이해하고 컴퓨터와 상호작용할 수 있다[3].

그러나 기존의 텐저블 프로그래밍 시스템은 시각 장애인이 프로그래밍을 배우기에는 여전히 복잡하며, 교육 시스템에 익숙해질 시간이 필요하다는 단점을 갖고 있는 경우가 많다[3-[6].

이 문제를 해결하기 위해 우리는 시각 장애인이 쉽게 배울 수 있는 텐저블의 프로그래밍 시스템(TPLS, Tangible Programming Learning System)을 개발했다. 본 시스템은 미로 퍼즐 앱, 3D 미로 지도, 텐저블의 프로그래밍 블록 및 프로그래밍 블록 리더기로 구성되어 있으며. 프로그래밍을 교육하기 위해 3단계 미로 퍼즐을 포함하고 있다. 이 퍼즐은 난이도별로 초급, 중급, 고급 각 4문제씩 총 12문제로 구성되어 있다. 사용자는 3D 미로 지도를 만져 미로의 모양을 이해할 수 있으며, 미로의 출발과 도착 지점 및 경로를 인식한 후 텐저블 프로그래밍 블록과 프로그래밍 블록 인식기를 사용하여 미로 탈출 명령어를 입력한다. 그 다음 미로 퍼즐 앱의 소리를 통해 미로를 탈출했는지, 미로의 한 장소에 멈췄는지 등 음악과 소리를 통해 결과를 인지할 수 있다.

본 학습시스템의 효용성을 테스트하기 위해 초등학교 6학년 학생 4명이 실험에 참여했다. 실험결과 수업에 참여한 학생들은 정해진 시간 안에 모든 문제를 해결하였고 본 시스템의 유용성에 대해 긍정적인 반응을 보였다. 또한 이들은 기존의 텍스트 프로그래밍 도구에 비해 본 학습시스템을 활용한 수업이 훨씬 더 직관적이고 쉽다고 언급했다.

Ⅱ. 관련 연구

Ⅲ. 시각장애인을 위한 텐저블 프로그래밍 학습 시스템

3.1 프로그래밍 학습 절차

본 연구에서 개발한 시스템은 그림 1과 같이 4개의 요소(3D미로지도, 텐저블 프로그래밍 블록, 프로그래밍 블록 리더기, 미로퍼즐 게임 앱)가 순차적으로 작동한다.

Fig. 1.

Programming learning progress using TPLS

먼저 사용자는 3D 미로 지도를 통해 출발지, 목적지, 경로를 인식한다. 그 다음 텐저블 프로그래밍 블록을 조합하여 프로그래밍 블록 리더기에 올려 명령어를 입력한다. 사용자가 프로그래밍 블록 리더기의 보내기 버튼을 누르면 블루투스 방식으로 미로 퍼즐 앱에 명령을 전달하고 실행한다. 사용자는 미로 퍼즐 앱에서 실행되는 캐릭터의 소리를 통해 성공 또는 실패를 판단하고 다음 단계로 진행하며 학습하게 된다.

3.2 시스템 구성 요소

본 시스템의 각각의 구성요소들은 시각장애인이 촉각과 청각 등 다양한 감각을 사용하여 프로그래밍 학습이 가능하도록 개발되었다.

우선, 시각장애인이 미로 퍼즐의 문제를 이해하기 위해서는 그래픽 형태의 문제를 실제 3차원 물체로 바꾸어야 한다. 이를 위해 미로 퍼즐 문제를 3D 프린터를 이용해 3D미로지도를 제작하였으며, 각 블록에는 문제 번호를 나타내는 숫자, 시작점과 방향을 나타내는 화살표, 목적지를 나타내는 별표가 양각으로 표시되어 있다(그림 2). 또한 각 미로의 길이와 경로를 인지할 수 있도록 경로도 빈칸(음각)으로 표현하였다. 시각장애인은 이 블록의 생김새 및 새겨진 기호를 만지면 문제를 이해할 수 있다.

Fig. 2.

Example for using components of TPLS

텐저블 프로그래밍 블록은 3*3cm의 정육면체 나무 블록으로 만들어졌다. 블록의 윗면에는 명령을 직관적으로 이해할 수 있도록 화살표, 회전 방향, 숫자, 반복기호 등을 양각으로 부착하였으며, 아랫면에는 프로그래밍 블록 리더기가 각 블록을 색 인식방법을 통해 식별할 수 있도록 각각 고유의 색깔이 칠해져 있다.

텐저블 프로그래밍 블록은 표 1과 같이 순차 및 반복 프로그래밍을 위한 필수 블록으로 이루어져 있다.

Table 1.

Tangible programming blocks

프로그래밍 블록의 종류는 이동, 반복, 숫자 블록이 있는데, 반복 블록은 시작 블록과 끝 블록이 있으며 사용 방법은 다음과 같습니다. 3단계 앞으로 가고 싶다면 이동 블록(↑)과 숫자 블록(3)을 결합하여 다음과 같이 반복 블록에 안에 넣을 수 있다.(예: ⟳ 3 ↑ ■)

프로그래밍 블록 리더는 최대 8개의 블록을 넣을 수 있는 홈, 보내기 버튼, 문제의 정답과 오답을 나타내는 LED로 구성되어 있다. 그림 2는 프로그래밍 블록 리더를 사용한 예이다.

프로그래밍 블록 리더기는 각 홈 아래에 프로그래밍 블록 감지 센서, 실행 버튼 및 Bluetooth 모듈이 장착되어 있다. 또한 텐저블 프로그래밍 블록의 밑면 색상을 인식하고 앱으로 전송하도록 색깔 인식 센서가 내장되어 있다. 프로그래밍 블록 리더의 전원은 AC 어댑터와 함께 작동하며 본체에서 분리할 수 있다.

미로 퍼즐 앱은 Code.org [16]에서 제공하는 Angry Birds 퍼즐 미로 게임 소스를 사용하여 제작되었으며 총 12단계의 순차와 반복 프로그래밍 문제로 구성되어 있다. 이 앱은 프로그래밍 블록 리더기와 블루투스를 통해 수신한 명령에 따라 캐릭터를 이동시켜 문제를 해결한다. 실행 화면 아래에 플레이 시간, 단계, 미션이 표시된다. 앱 시작 시 사용자를 지정하여 시작할 수 있으며, 사용자의 난이도별 플레이 시간을 기록하여 달성도를 확인하고 평가할 수 있다. 그림 3은 프로그래밍 앱 사용자 인터페이스이다.

Fig. 3.

Programming learning progress using TPLS

이러한 촉각과 청각을 사용하는 구성요소들을 이용하면 시각장애인과 비장애인이 동시에 프로그래밍 수업에 참여할 수 있다.

Ⅳ. 실 험

본 연구에서 개발한 학습시스템의 유용성을 평가하기 위해 블록 기반 프로그래밍 경험을 가진 12세 아동 4명(남 3, 여 1)을 모집하였다. 코로나19 팬데믹 상황으로 인해 실험을 위해 시각장애인을 모집하는 것이 불가능해져 본 연구자가 소속된 교육기관의 학생들을 대상으로 수업을 진행하였다.

시각장애인의 입장에서 시스템을 평가하기 위해 두 명의 학생이 짝을 이루어 실험을 진행했는데, 한 학생은 안대를 착용하고 다른 학생은 활동 보조 역할을 맡았다(그림 4). 실제로 시각장애인 학교에서학생 한 명당 한 명의 보조 교사를 배치하므로 실제와 비슷한 교육환경으로 설정하였다. 보조교사 역할의 학생은 안대를 착용한 학생에게 미로 퍼즐의 각 단계에 적합한 3D 미로 지도를 주고. 안대를 착용한 학생은 미로 퍼즐의 1단계부터 12단계까지 문제를 모두 풀어 보았다.

Fig. 4.

Class using TPLS

실험결과, 피실험자들은 주어진 시간(40분) 내에 모든 문제를 성공적으로 풀었다. 손의 감각에 의존하는 학습에 익숙하지 않은 학생들도 큰 어려움 없이 학습을 마칠 수 있었다. 이러한 점을 고려할 때, 시스템이 직관적이고 쉬우며 시각을 사용하지 않고도 충분히 사용할 수 있음을 유추할 수 있다.

실험이 끝나고 참가 학생을 대상으로 시스템의 효용성을 평가하는 문항들로 인터뷰를 진행하였고, 학생들은 전반적으로 본 시스템에 긍정적인 반응을 보였다. 구체적인 응답은 표 2와 같다.

Table 2.

Interview about TPLS

학생들은 이 도구에 대한 사용편의성(‘사용하기 편했다’, ‘이해하기 쉬웠다’ 등)에 대해 높은 만족도를 보였고, 흥미(‘재미’, ‘놀이에 유용함’ 등)에 대해서도 높은 만족도를 보였다. 단계별 학습과 다양한 활용성 측면에 대해서도 긍정적인 반응을 보였다.

또한 참가자 모두 시각장애인도 본 시스템을 이용해 같은 수업에 참여할 수 있을 것이라는 답변을 하였다. 그 이유는 직접 안대를 착용하고 사용해 보았을 때 활동이 원활하고 사용 방법이 간단하고 쉬워서 코딩 학습이 가능했기 때문이라고 하였다.

한편, 이 도구의 단점으로 학습 과정에서 학습 보조자의 도움이 필요한 점, 코딩 블록이 다양하지 않아 학습 내용에 한계가 있다는 점 등을 언급하였다.

인터뷰 내용을 종합한 결과 프로그래밍 교육을 위해 본 시스템을 쉽고 재밌게 활용할 수 있으며, 시각을 사용하지 않고도 과제를 완료할 수 있어 시각의 문제가 있는 학생들에게도 프로그래밍 교육 시스템으로서 효용가치가 있을 것으로 기대해볼 수 있다.

Ⅴ. 결론 및 제언

본 논문에서는 시각장애인을 위한 텐저블 프로그래밍 학습 시스템을 개발하였다. 본 시스템은 미로 퍼즐 앱, 3D 미로 지도, 텐저블 프로그래밍 블록 및 프로그래밍 블록 리더기로 구성되어 있으며. 순차 및 반복 프로그래밍을 학습하기 위한 수준별 미로 퍼즐도 포함되어 있다. 사용자는 3D 미로 지도를 손으로 만져 미로의 모양을 인식한 후 텐저블 프로그래밍 블록과 프로그래밍 블록 리더기를 사용해 미로를 탈출할 수 있는 명령어를 입력한다. 입력된 명령어는 미로퍼즐 앱으로 전달되고, 소리를 통해 미션 성공 여부를 확인할 수 있다.

본 시스템의 효용성을 평가하기 위해 초등학교 6학년 학생 4명이 실험에 참여하였다. 참가자들은 안대를 착용한 채, TPLS를 이용해 프로그래밍 수업에 참여하였고, 주어진 시간 동안 모든 과제를 성공적으로 완료하였다. 또한, 인터뷰 결과 본 시스템을 이용해 프로그래밍 교육에 쉽고 재밌게 참여할 수 있었다고 언급하였으며 시각에 의존하지 않고도 과제를 충분히 완료할 수 있었다고 하였다. 이를 통해 본 연구에서 개발한 시스템이 시각의 문제가 있는 학생들을 위한 프로그래밍 교육에도 효과적으로 사용될 수 있을 가능성을 유추해 볼 수 있다.

하지만, 이를 확실히 검증하기 위해 실제 시각장애를 가진 학생들을 대상으로 실험하는 것이 추가적으로 더 필요하다. 또한, 본 시스템을 활용한 보다 다양한 프로그래밍 교육 콘텐츠를 개발하고, 더욱 다양한 프로그래밍 학습 내용을 담을 수 있도록 발전시켜야 한다. 이를 통해 장애인과 비장애인이 차별 없이 함께 프로그래밍 교육에 있어 참여하고, 시각장애인들도 다양한 프로그래밍 교육을 받을 수 있는 동등한 기회를 얻을 수 있기를 기대한다.

References

• Antonio Miguel Batista Dourado and Emerson Carlos Pedrino, "Multi-objective Cartesian Genetic Programming optimization of morphological filters in navigation systems for Visually Impaired People", Appl. Soft Comput, Vol. 89, No. C, Apr. 2020. [https://doi.org/10.1016/j.asoc.2020.106130]
• David Bau, Jeff Gray, Caitlin Kelleher, Josh Sheldon, and Franklyn Turbak, "Learnable programming: blocks and beyond", Commun. ACM, Vol. 60, No. 6, pp. 72–80, Jun. 2017. [https://doi.org/10.1145/3015455]
• Cecily Morrison, Nicolas Villar, Anja Thieme, Zahra Ashktorab, Eloise Taysom, Oscar Salandin, Daniel Cletheroe, Greg Saul, Alan F Blackwell, Darren Edge, Martin Grayson, and Haiyan Zhang, "Torino: A Tangible Programming Language Inclusive of Children with Visual Disabilities", Human–Computer Interaction, Vol. 35, No. 3, pp. 191-239, Jan. 2019. [https://doi.org/10.1080/07370024.2018.1512413]
• Alpay Sabuncuoglu, "Tangible Music Programming Blocks for Visually Impaired Children", In Proceedings of the Fourteenth International Conference on Tangible, Embedded, and Embodied Interaction (TEI '20). Association for Computing Machinery, New York, NY, USA, pp. 423–429, Feb. 2020. [https://doi.org/10.1145/3374920.3374939]
• F. Martin and M. Resnick, "LEGO/Logo and Electronic Bricks: Creating a Scienceland for Children", In: Ferguson D.L. (eds) Advanced Educational Technologies for Mathematics and Science, Vol. 107, pp. 61-89, 1993. [https://doi.org/10.1007/978-3-662-02938-1_2]
• Stephanie Ludi, Mohammed Abadi, Yuji Fujiki, Priya Sankaran, and Spencer Herzberg, "JBrick: accessible lego mindstorm programming tool for users who are visually impaired", In Proceedings of the 12th international ACM SIGACCESS conference on Computers and accessibility (ASSETS '10). Association for Computing Machinery, New York, NY, USA, pp. 271–272, Oct. 2010.
• Michael S. Horn and Robert J. K. Jacob, "Tangible programming in the classroom with tern", In CHI '07 Extended Abstracts on Human Factors in Computing Systems (CHI EA '07). Association for Computing Machinery, New York, NY, USA, pp. 1965–1970, Apr. 2007.
• Michael S. Horn and Robert J. K. Jacob, "Designing tangible programming languages for classroom use", In Proceedings of the 1st international conference on Tangible and embedded interaction (TEI '07). Association for Computing Machinery, New York, NY, USA, pp. 159–162, Feb. 2007.
• Lauren R. Milne and Richard E. Ladner, "Blocks4All: Overcoming Accessibility Barriers to Blocks Programming for Children with Visual Impairments", In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Paper 69, pp. 1–10, Apr. 2018.
• IBM, https://www.ibm.com/, [acessed: Nov. 05, 2021]
• J. K. Mahendran, D. T. Barry, A. K. Nivedha and S. M. Bhandarkar, "Computer Vision-based Assistance System for the Visually Impaired Using Mobile Edge Artificial Intelligence", IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 2418-2427, June 2021. [https://doi.org/10.1109/CVPRW53098.2021.00274]
• L. Nadolskis, "Use of Computer Vision to Develop a Device to Assist Visually Impaired People with Social Distance", In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 18, pp. 15974-15975, May 2021. https://ojs.aaai.org/index.php/AAAI/article/view/17983, .
• Ana Cristina Pires, Filipa Rocha, Antonio José de Barros Neto, Hugo Simão, Hugo Nicolau, and Tiago Guerreiro, "Exploring accessible programming with educators and visually impaired children", In Proceedings of the Interaction Design and Children Conference (IDC '20). Association for Computing Machinery, New York, NY, USA, pp. 148–160, June 2020.
• Aboubakar Mountapmbeme and Stephanie Ludi, "How Teachers of the Visually Impaired Compensate with the Absence of Accessible Block-Based Languages", In The 23rd International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS '21). Association for Computing Machinery, New York, NY, USA, Article 4, pp. 1–10, October 2021. [https://doi.org/10.1145/3441852.3471221]
• Alotaibi, Hind, Hend S. Al-Khalifa, and Duaa AlSaeed, "Teaching Programming to Students with Vision Impairment: Impact of Tactile Teaching Strategies on Student’s Achievements and Perceptions", Sustainability, Vol. 12, No. 13, pp. 5320, Jul. 2020. [https://doi.org/10.3390/su12135320]
• CODE.ORG, https://code.org, [acessed: Nov. 15, 2021]