Home | JKIIT Archives | About the JKIIT | E-SUBMISSON |
Sorry.
You are not permitted to access the full text of articles.
If you have any questions about permissions,
please contact the Society.
죄송합니다.
회원님은 논문 이용 권한이 없습니다.
권한 관련 문의는 학회로 부탁 드립니다.
[ Article ] | |
The Journal of Korean Institute of Information Technology - Vol. 18, No. 7, pp. 141-149 | |
Abbreviation: Journal of KIIT | |
ISSN: 1598-8619 (Print) 2093-7571 (Online) | |
Print publication date 31 Jul 2020 | |
Received 16 Jun 2020 Revised 21 Jul 2020 Accepted 24 Jul 2020 | |
DOI: https://doi.org/10.14801/jkiit.2020.18.7.141 | |
스마트 UI/UX형 라이트닝 키보드 시스템 개발 | |
강안나*
; 이병권**
| |
*한국 ICT 에듀넷 대표 | |
**서원대학교 멀티미디어학부 조교수(교신저자) | |
A Development of Smart UI/UX Lightning Keyboard System | |
An-Na Kang*
; Byong-Kwon Lee**
| |
Correspondence to : Author: Byong-Kwon, Lee Dept. of IT/Multimedia, Seowon University, Chungbuk Korea, Tel.: +82-43-299-8597, Email: sonic747@seowon.ac.kr | |
전자악기 분야는 음악뿐 아니라 다양한 장르에서 여러 형태로 활용되고 있다. 특히 전자 키보드는 음악에 특별한 음색 및 음향에 적극적으로 활용되고 있다. 하지만 스마트 기기와 연동해서 음악을 제작하고 편집하는 제품도 없다. 또한, 건반 형태의 전자 키보드는 열 손가락을 모두 사용해 연주해 숙달되지 않으면 연주하기 힘들다. 본 연구에서는 스마트기기와 블루투스가 연동되고 음악 제작, 편집 및 연주할 수 있는 솔루션과 초보자도 쉽게 따라 할 수 있도록 손가락 위치별 색을 지정해 배우는 스마트 UI/U형 라이트닝 키보드를 제안했다. 라이트닝 키보드는 음악 제작을 통하여 초보자도 쉽게 건반 형태의 키보드를 3색 LED을 통하여 손가락 위치를 찾을 수 있고, 편집 및 재생을 통해서 자신의 음악을 확인한다. 또한, 음원의 경우 표준화된 MID형태의 다양한 악기를 지원하도록 했다. 본 연구로 향후 음악은 물론 빛과 소리를 활용해 노인치매 예방 및 치료에 적극적으로 활용될 것으로 생각한다.
The electronic musical instrument field is used in various forms in various genres as well as music. In particular, electronic keyboards are actively used for special tones and sounds for music. However, there are no products that create and edit music in conjunction with smart devices. Also, a keyboard-type electronic keyboard is difficult to play without mastery by playing with all ten fingers. In this study, a smart device and Bluetooth are interlocked and a solution for music production, editing and performance is presented. In addition, we proposed a smart UI/UI-type Lightning keyboard that learns by specifying the color for each finger position so that even a beginner can easily follow it. The Lightning Keyboard makes it easy for beginners to find their finger position through a 3-color LED on a keyboard through music production, and checks their music through editing and playback. In addition, in the case of sound sources, various instruments in the standardized MID format were supported. We believe that this study will be actively used in the prevention and treatment of dementia in the elderly by using light and sound as well as music in the future.
Keywords: lightning keybord, smart keyboard, smart piano, musical instrument, mid keyboad |
Iot 기반의 무선 스마트 기술은 기존 피아노 건반 분에 적용되고 있으면 각종 헬스케어, 노인치매, 개인 인지학습에 적극적으로 활용되고 있다[1]. 본 연구에서는 스마트 라이트닝 키보드 솔루션을 제안한다. 스마트 라이트닝 키보드는 기존의 터치형태로 누르기만하는 장치가 아닌 양손 가락의 위치별 색을 표시해 직관적으로 음악 연주할 수 있도록 설계했다. 또한, 음악을 제작 및 편집기능을 포함해 누구나 쉽게 스마트기기와 제안하는 라이트닝 키보드만을 가지고 음악학습을 진행한다. 더 나아가 노인치매 예방 및 치료에 촉각, 시각, 청각을 이용한 솔루션으로 자리 잡을 것으로 생각한다[2].
그림 1은 스마트 악기학습 키보드 시스템 구성도이다. 2절에서는 관련된 기술 및 현황에 대하여 논하고, 3절에서는 제안하는 스마트 라이트닝 키보드 대하여 4절에는 결론과 향후 연구 방향에 대하여 논한다.
디지털 피아노 키보드는 다양한 형태로 개발되어 상품화되고 있다[3]. 다음은 다양한 형태의 디지털 피아노의 특징을 설명한 것이다.
그림 2는 비교연구를 위하여 분석한 4가지 형태의 디지털 피아노로, 디지털 피아노(Digital Piano), 키보드(Keyboard), 신디사이저(synthesizer), 마스터 키보드(Master Keyboard)의 제품 그림들이다.
(a) 디지털 피아노
(b) 키보드
(c) 신디사이저
(d) 마스터 키보드
디지털 피아노 키보드와 함께 사용되는 안드로이드기반의 피아노 앱은 매우 많이 있다[4]. 다음은 현재 플레이스토에서 가장 많이 사용되는 피아노앱이다.
그림 3은 비교 분석한 앱을 보여주며, 실제 피아노(Real Piano), 최고의 피아노(Best piano), 드림 피아노(Dream Piano), 실제 피아노 교사(Real Piano Teacher) 라는 앱을 캡쳐한 그림을 보여주고 있다.
(a) 실제 피아노 앱
(b) 최고의 피아노
(c) 드림 피아노
(d) 실제 피아노 교사
하지만 이러한 피아노 앱의 경우 인터텍티브하게 상호 연동이 안된다. 특히 눌러야 되는 버튼과 연동이 안되는 문제점을 가지고 있다. 이러한 문제를 점을 개선하기 위해 피아노 건반제작과 앱을 개발하고 사용자입장에서 직관성이 있는 UI/UX기반의 라이트닝 키보드 시스템을 제안했다.
기존 키보드에 손가락 위치별 라이트닝 키보드를 설계 및 제작을 진행했다. 그림 4는 라이트닝 키보드의 개념설계서로 PCB보드를 제작하기 위해 LED버튼의 위치와 키보드 목업 간의 관계도를 작성했다.
그림 5는 스마트기기와 무선통신을 연결하기 위해 블루투스 모듈과 배터리, MCU 및 GPIO 연결 소캣등을 설계한 구성도이다.
세부 사양으로 5V DC어댑터 전원 혹은 3.7V 2600mAh 리튬-이온 건전지 이용, 내부 시스템에 전원을 공급하며 3.3V에서 동작하는 MCU 이용, 배터리 Charger IC를 통해 배터리 과충전 및 방전을 막고 배터리, 수명 감소를 최소화하도록 설계, UART 통신을 통해 블루투스 모듈과 통신하여 데이터를 주고받음, I2C 통신을 이용하여 LED 드라이버를 제어하여 LED 점등 패턴 및 밝기 등을 제어, MCU를 이용하여 키보드 외부에 위치한 각종 스위치 및 LED를 제어한다. 그림 6은 라이트닝 키보드 3D설계도 도면으로 LED 쪽 보드를 포함한 전체 구성도이다.
그림 7은 키보드의 터치 감을 극대화기 위해 조작부분을 Long와 Short부분을 구분해서 작성 설계해 삽입했다.
그림 8은 라이트닝 키보드 설계도면 기준으로 목업을 제작한 것으로 각 키보드 KeyPad에 3색 LED 등을 삽입해서 손가락의 위치를 확인하고 터치할 수 있도록 개발되었다. 사용자는 무선통신인 블루투스 기술을 이용해서 스마트기기와 실시간으로 통신을 한다.
스마트 라이트닝 앱 개발은 하드웨어장치인 라이트닝 키보드와 통신하기 위한 무선통신 펌웨어는 보드에서 개발과 애플리케이션 제작 부분으로 구분된다.
그림 9는 보드와 앱간의 통신 펌웨어규격이다.
• 통신용 표준화 절차(보드->스마트앱)
• 통신용 표준화 절차(스마트 앱-> 보드)
• 스마트 음악편집 UI/UX 응용 앱 개발
UI/UX 기반의 음약을 제작하고 편집하는 앱을 개발하기 위해 Game 엔진인 Unity를 통하여 진행했다. 미디기반의 편집 및 스마트기반에서 재생이 가능하도록 개발했다[5][6]. 그림 10은 스마트형 UI/UX기반 운영 앱 구성도이다.
회원관리를 위한 로그인 부분과 기 삽입된 곡선택 기능을 포함하고 있으면 악기 선택 부분과 게임 부분도 포함되어있다. 또한, 실제 음표를 이용해서 악보를 작성하고 손가락의 위치 및 색을 지정하기 위한 편집 도구도 함께 제공한다. 회원관리를 위한 로그인 부분과 기 삽입된 곡 선택 기능을 포함하고 있으면 악기 선택 부분과 게임 부분도 포함되어있다. 또한, 실제 음표를 이용해서 악보를 작성하고 손가락의 위치 및 색을 지정하기 위한 편집 도구도 함께 제공한다.
그림 11은 스마트 라이트닝 앱으로 Main 기능과 무선통신을 위한 블루투스 연결인터페이스 음악 및 악기선택으로 구성되었다.
또한 동기적으로 동작하는 “맞추어하기”, 비동기로 동작하는 “따라하기“ 기능으로 구분한다[7].
특기 맞추어하기와 따라하기는 아래와 같다.
• 맞추어하기 기능
• 따라하기 기능
그림 12는 스마트 상에서 음악 제작 및 편집기능으로 화음선택, 확대축소, 악보이동, 불러오기 및 저장하기 기능을 포함한다.
• 음표 추가
• 음표 수정
• 마디 초가
그림 13은 음악을 제작하기 위한 인터페이스로 화음을 선택하고 손가락의 위치별 색을 지정하는 기능을 가지고 있다. 또한 사용자의 편의 및 접근성을 극대화하기 위해 악보 확대 및 이동 기능을 가지고 있다. 주요기능에 대한 설명은 다음과 같다.
• 화음 선택
• 라이트닝 색표시
• 악보 확대 및 축소
• 불러오기 및 저장하기
스마트 라이트닝 보스 시스템은 그림 14는 제안된 라이트닝 반응형 키보드로 손가락 위치별로 색을 구분해서 표시되고 실시간성을 높이기 위해 키보드에 내장된 메모리에 음악을 저장하도록 설계하고 시험했다[8].
시험 결과 대부분이 동작이 원활이 진행되고 오른 손가락 기준으로 문제없이 연주되었다.
또한 무선이나 유선 통신연결과 무선통신 연결은 지원함으로서 통신이 단절되었을 경우 추가 보조 수단을 사용하도록 했다.
UI/UX형 라이트닝 키보드 시스템의 활용 분야로 학교 및 학원 음악학습을 위한 따라하기 식 학습을 할 수 있고, 개인 음악학습 및 가정에서 개인이 직접 악보를 다운받아서 따라하기 연습 및 자리연습 진행한다. 또한 악보제작을 통한 패키지 판매로 부가 수익을 창출한다.
전자악기 분야는 음악뿐 아니라 다양한 장르에서 여러 형태로 활용되고 있다. 특히 전자 키보드는 음악에 특별한 음색 및 음향에 적극적으로 활용되고 있다. 하지만 스마트 기기와 연동해서 음악을 제작하고 편집하는 제품도 없다 IoT 기반의 무선 스마트 기술은 기존 피아노 건반 분에 적용되고 있으면 각종 헬스케어, 노인치매, 개인 인지학습에 적극적으로 활용되고 있다. 본 연구에서는 스마트 라이트닝 키보드 솔루션을 제안했다. 스마트라이트닝 키보드는 기존의 터치 형태로 누르기만하는 장치가 아닌 양손 가락의 위치별 색을 표시해 직관적으로 음악을 연주할 수 있도록 설계했다. 또한, 음악을 제작 및 편집기능을 포함해 누구나 쉽게 스마트기기와 제안하는 라이트닝 키보드만을 가지고 음악학습을 진행한다. 더 나아가 노인치매 예방 및 치료에 촉각, 시각, 청각을 이용한 솔루션으로 자리 잡을 것으로 생각한다. 향후 과제로 작곡된 음악에 대한 음원 및 저작권을 상품화해 추가적인 매출로 이어질 수 있으면 사용자의 패턴을 분석한 AI형 작곡에 적극 활용될 수 있으리라 사료된다.
1. | Naresh Kumar Seetlani, Narindar Kumar, Khalid Imran, Asif Ali, Nadia Shams, and Taha Sheikh, "Alzheimer and vascular dementia in the elderly patients", Pakistan Journal of Medical Sciences, Vol. 32, No. 5, pp. 1286‐1290, Sep. 2016. |
2. | Nastaran Majdi Nasab, Mohammad Ali Bahrammi, Mohammad Reza Amiri Nikpour, Fakher Rahim, and Sayed Navid Naghibis., "Efficacy of rivastigmine in comparison to ginkgo for treating Alzheimer’s dementia", The Journal of the Pakistan Medical Association, Vol. 62, No. 7, pp. 677-680, Jul. 2012. |
3. | Industrial Consolidation Competitiveness Enhancement Project, "Development of Intelligent Digital Piano Using IT Convergence Technology", Ministry of Trade, Industry and Energy, Oct, 2017. |
4. | Digital piano, "Android-based piano platform", Android Play Store, 2020.12. |
5. | Balazs Bank and Juliette Chabassier, "Model-based digital pianos: from physics to sound synthesis", IEEE Signal Processing Magazine, Vol. 36, No. 1, pp. 103-114, Jan. 2019. |
6. | S. Zambon, "Distributed piano soundboard modeling with common-pole parallel filters", in Proc. Stockholm Music Acoust. Conferences, Stockholm, Sweden, pp. 641-647, Aug. 2013. |
7. | B. Bank, S. Zambon, and F. Fontana, "A modal-based real-time piano synthesizer", IEEE Transactions on Audio, Speech, and Language Processing, Vol. 18, No. 4, pp. 809-821, May 2010. |
8. | G. Borin, D. Rocchesso, and F. Scalcon, "A physical piano model for music performance", in Proc. International Computer Music Conferences, Thessaloniki, Greece, pp. 350-353, Sep. 1997. |
2008년 2월 : 목원대학교 전자정보보호공학 (공학박사)
2016년 6월 ~ 현재 : 한국 ICT 에듀넷 대표
관심분야 : AR, VR, 정보통신, 멀티미디어
2007년 2월 : 충북대학교 대학원 전자계산학과 (이학사)
2014년 4월 : 동국대학교 멀티미디어공학과 조교수
2020년 4월 ~ 현재 : 서원대학교 멀티미디어학부 조교수
관심분야 : AR, VR, 정보통신, 멀티미디어