스마트 UI/UX형 라이트닝 키보드 시스템 개발
; 이병권**
; Byong-Kwon Lee**
초록
전자악기 분야는 음악뿐 아니라 다양한 장르에서 여러 형태로 활용되고 있다. 특히 전자 키보드는 음악에 특별한 음색 및 음향에 적극적으로 활용되고 있다. 하지만 스마트 기기와 연동해서 음악을 제작하고 편집하는 제품도 없다. 또한, 건반 형태의 전자 키보드는 열 손가락을 모두 사용해 연주해 숙달되지 않으면 연주하기 힘들다. 본 연구에서는 스마트기기와 블루투스가 연동되고 음악 제작, 편집 및 연주할 수 있는 솔루션과 초보자도 쉽게 따라 할 수 있도록 손가락 위치별 색을 지정해 배우는 스마트 UI/U형 라이트닝 키보드를 제안했다. 라이트닝 키보드는 음악 제작을 통하여 초보자도 쉽게 건반 형태의 키보드를 3색 LED을 통하여 손가락 위치를 찾을 수 있고, 편집 및 재생을 통해서 자신의 음악을 확인한다. 또한, 음원의 경우 표준화된 MID형태의 다양한 악기를 지원하도록 했다. 본 연구로 향후 음악은 물론 빛과 소리를 활용해 노인치매 예방 및 치료에 적극적으로 활용될 것으로 생각한다.
Abstract
The electronic musical instrument field is used in various forms in various genres as well as music. In particular, electronic keyboards are actively used for special tones and sounds for music. However, there are no products that create and edit music in conjunction with smart devices. Also, a keyboard-type electronic keyboard is difficult to play without mastery by playing with all ten fingers. In this study, a smart device and Bluetooth are interlocked and a solution for music production, editing and performance is presented. In addition, we proposed a smart UI/UI-type Lightning keyboard that learns by specifying the color for each finger position so that even a beginner can easily follow it. The Lightning Keyboard makes it easy for beginners to find their finger position through a 3-color LED on a keyboard through music production, and checks their music through editing and playback. In addition, in the case of sound sources, various instruments in the standardized MID format were supported. We believe that this study will be actively used in the prevention and treatment of dementia in the elderly by using light and sound as well as music in the future.
Keywords:
lightning keybord, smart keyboard, smart piano, musical instrument, mid keyboadⅠ. 서 론
Iot 기반의 무선 스마트 기술은 기존 피아노 건반 분에 적용되고 있으면 각종 헬스케어, 노인치매, 개인 인지학습에 적극적으로 활용되고 있다[1]. 본 연구에서는 스마트 라이트닝 키보드 솔루션을 제안한다. 스마트 라이트닝 키보드는 기존의 터치형태로 누르기만하는 장치가 아닌 양손 가락의 위치별 색을 표시해 직관적으로 음악 연주할 수 있도록 설계했다. 또한, 음악을 제작 및 편집기능을 포함해 누구나 쉽게 스마트기기와 제안하는 라이트닝 키보드만을 가지고 음악학습을 진행한다. 더 나아가 노인치매 예방 및 치료에 촉각, 시각, 청각을 이용한 솔루션으로 자리 잡을 것으로 생각한다[2].
그림 1은 스마트 악기학습 키보드 시스템 구성도이다. 2절에서는 관련된 기술 및 현황에 대하여 논하고, 3절에서는 제안하는 스마트 라이트닝 키보드 대하여 4절에는 결론과 향후 연구 방향에 대하여 논한다.
Smart instrument learning keyboard system
Ⅱ. 관련 연구
2.1 디지털 피아노
디지털 피아노 키보드는 다양한 형태로 개발되어 상품화되고 있다[3]. 다음은 다양한 형태의 디지털 피아노의 특징을 설명한 것이다.
그림 2는 비교연구를 위하여 분석한 4가지 형태의 디지털 피아노로, 디지털 피아노(Digital Piano), 키보드(Keyboard), 신디사이저(synthesizer), 마스터 키보드(Master Keyboard)의 제품 그림들이다.
Digital piano keyboard
(a) 디지털 피아노
- - 현을 해머로 타격하는 방식이 아니라 음원을 내장한 방식의 전자 피아노
- - 피아노와 같은 88건반이고, 건반의 터치도 피아노와 유사함.
- - 페달과 스피커 등이 내장되어 있으며, 핸드폰을 사용함.
- - 피아노 외의 음원이 있고, 리듬 기능도 추가되어 있는 경우가 많지만 기능이 떨어져, 소리에 민감한 아파트나 학원에서 교육용으로 사용하기에 적합
- - 가격 : 100-500만원
(b) 키보드
- - 키보드라고 하면 주로 포터블 키보드(Portable Keyboard)를 말하는 경우가 있음
- - 디지털 피아노는 휴대할 수 있도록 만든 것으로 61건반과 76건반이 많음.
- - 여러가지 악기의 음원이 내장되어 있지만, 신디사이저와는 달리 음을 합성하는 기능은 없음.
- - 리듬기능도 있는 경우가 많고, 스피커가 내장되어 있으며, 연습용이나 학습용으로 많이 사용됨
- - 가격 : 40-50만원
(c) 신디사이저
- - 음을 합성할 수 있는 기능을 가진 악기로서 다양한 효과를 낼 수 있는 고가의 장비
- - 소리를 내기 위해서는 앰프와 스피커가 필요하며, 피아노를 배웠다 하더라도 기능과 연주법을 따로 익히는 것이 필요함.
- - 61건반, 76건반, 88건반
- - Roland, Korg, Kurzweil, Yamaha, Ensoniq(E-Mu와 합병) 등의 회사에서 만드는 악기가 유명하며, 악기마다 장점이 있어 필요에 따라 구입
(d) 마스터 키보드
- - 건반만 존재하고 다른 기능은 없는 것으로 외부 모듈과 소프트웨어, 앰프, 스피커
- - 미디용으로 많이 사용.
- - Kurzweil의 PC 계열의 키보드가 이 마스터 키보드의 개념으로서, 자체 음원이 내장되어 있고 일부 합성 기능이 있는데다가 어쿠스틱한 사운드가 일품이라 메인건반으로서 가장 널리 사용되고 있음
2.2 피아노 앱
디지털 피아노 키보드와 함께 사용되는 안드로이드기반의 피아노 앱은 매우 많이 있다[4]. 다음은 현재 플레이스토에서 가장 많이 사용되는 피아노앱이다.
그림 3은 비교 분석한 앱을 보여주며, 실제 피아노(Real Piano), 최고의 피아노(Best piano), 드림 피아노(Dream Piano), 실제 피아노 교사(Real Piano Teacher) 라는 앱을 캡쳐한 그림을 보여주고 있다.
Android based piano app
(a) 실제 피아노 앱
- - 멀티 터치, 완전한 키보드, 20 현실적인 악기
- - 스튜디오 오디오 품질같은 그랜드 피아노, 전자 피아노, 신디사이저, 오르간, 기타, 기타, 베이스, 베이스 신디사이저, 문자열, 황동, 클레이브, 하프시 코드, 장난감 오르간, 밴조, 아코디언, 시타르, 비브라폰, 플루트, 보컬과 색소폰 등의 도구
- - 완벽하고 실제적인 피아노 / 키보드 세트
- - 녹화 모드, 루프 플레이, 녹음 이름 바꾸기
- - 모든 화면 해상도에서 작동, 전화 및 태블릿 (HD 이미지)
(b) 최고의 피아노
- - 학습모드 없이 피아노로도 사용
- - 자신의 노래를 녹음하는 옵션. 녹음 기능을 사용하면 음악 작곡을 저장하고 나중에 재생
- - 피아노 건반의 양을 10에서 24까지 설정
- - 멀티 터치, 학습 모드, 노래로드 및 저장
- - 레코더, 태블릿 지원, 피아노 키 10 ~ 24
- - HD 그래픽, 모든 화면 해상도에서 작동
- - 음악가에게 완벽한, 영어 및 폴란드어 언어
(c) 드림 피아노
- - 피아노 타일 게임( 피아노 게임)
- - 버추얼 피아노 키보드로 어디서나 연주
- - 떨어지는 타일 아래로 피아노 키를 두드려 진정한 피아니스트처럼 연주
- - 노래책: 300가지 이상의 피아노 멜로디가 제공
- - 클래식부터 인기 연주곡까지 수많은 스타일과 장르 중에서 선택
- - 베토벤 심포니 5번이나 애니멀스의 해 뜨는 집을 연주
- - 라이브러리와 개선된 검색 기능
- - 악기: 본인의 피아노 키보드 소리로 변경
- - 공유: 음악은 함께 나누기 위한 것
- - 피아노 곡을 연주하고, 즐기고, 피아노 경험
(d) 실제 피아노 교사
- - 오디오 및 오프라인 연설로 가르칠 수 있는 재미있고 인터랙티브한 교사
- - 피아노 연결 기능 – 실제 경험을 위해 실제 피아노와 연결
- - 게임, 학습 및 프리 스타일 모드
- - 빠르고 응답성, 최고의 스튜디오 음질(실제 사운드)
- - 8개의 풀 옥타브 (키 / 노트 형식)
- - 탁월한 샘플 피아노 사운드
- - 사운드 녹음, 오디오 녹음
- - 친구 및 가족과 녹음 공유
하지만 이러한 피아노 앱의 경우 인터텍티브하게 상호 연동이 안된다. 특히 눌러야 되는 버튼과 연동이 안되는 문제점을 가지고 있다. 이러한 문제를 점을 개선하기 위해 피아노 건반제작과 앱을 개발하고 사용자입장에서 직관성이 있는 UI/UX기반의 라이트닝 키보드 시스템을 제안했다.
Ⅲ. UI/UX형 라이트닝 키보드 시스템
3.1 라이트닝 하드웨어 설계 및 제작
기존 키보드에 손가락 위치별 라이트닝 키보드를 설계 및 제작을 진행했다. 그림 4는 라이트닝 키보드의 개념설계서로 PCB보드를 제작하기 위해 LED버튼의 위치와 키보드 목업 간의 관계도를 작성했다.
Lightning keyboard concept design
그림 5는 스마트기기와 무선통신을 연결하기 위해 블루투스 모듈과 배터리, MCU 및 GPIO 연결 소캣등을 설계한 구성도이다.
Lightning keyboard 3D design
세부 사양으로 5V DC어댑터 전원 혹은 3.7V 2600mAh 리튬-이온 건전지 이용, 내부 시스템에 전원을 공급하며 3.3V에서 동작하는 MCU 이용, 배터리 Charger IC를 통해 배터리 과충전 및 방전을 막고 배터리, 수명 감소를 최소화하도록 설계, UART 통신을 통해 블루투스 모듈과 통신하여 데이터를 주고받음, I2C 통신을 이용하여 LED 드라이버를 제어하여 LED 점등 패턴 및 밝기 등을 제어, MCU를 이용하여 키보드 외부에 위치한 각종 스위치 및 LED를 제어한다. 그림 6은 라이트닝 키보드 3D설계도 도면으로 LED 쪽 보드를 포함한 전체 구성도이다.
Lightning keyboard layout
그림 7은 키보드의 터치 감을 극대화기 위해 조작부분을 Long와 Short부분을 구분해서 작성 설계해 삽입했다.
Smart lightning keyboard design principle
그림 8은 라이트닝 키보드 설계도면 기준으로 목업을 제작한 것으로 각 키보드 KeyPad에 3색 LED 등을 삽입해서 손가락의 위치를 확인하고 터치할 수 있도록 개발되었다. 사용자는 무선통신인 블루투스 기술을 이용해서 스마트기기와 실시간으로 통신을 한다.
Smart lightning keyboard mock-up production
3.2 스마트 소프트웨어(앱) 설계 및 제작
스마트 라이트닝 앱 개발은 하드웨어장치인 라이트닝 키보드와 통신하기 위한 무선통신 펌웨어는 보드에서 개발과 애플리케이션 제작 부분으로 구분된다.
그림 9는 보드와 앱간의 통신 펌웨어규격이다.
Intercommunication firmware standard
• 통신용 표준화 절차(보드->스마트앱)
- (1) BluetoothHandler 클래스 ConnectedThread 스레드 run()에서 데이터 받아옴
- (2) ConnectedThread에서 EmulatorView 클래스 write (byte[], int)로 데이터 전송
- (3) EmulatorView에서 데이터 프로토콜에 맞는지 확인
- (4) 현재 저장된 버튼 상태와 비교 → 버튼 상태를 업데이트 할지 여부 결정
- (5) 버튼 상태를 업데이트한 경우, MainActivity 의 Handler로 버튼 상태 전송
• 통신용 표준화 절차(스마트 앱-> 보드)
- (1) 길이 22인 byte 배열 생성
- (2) Start byte, End byte 프로토콜에 맞게 변경
- (3) LED 상태 프로토콜에 맞게 변경
- (4) BluetoothHandler.write (byte[])로 보드로 데이터 전송
• 스마트 음악편집 UI/UX 응용 앱 개발
UI/UX 기반의 음약을 제작하고 편집하는 앱을 개발하기 위해 Game 엔진인 Unity를 통하여 진행했다. 미디기반의 편집 및 스마트기반에서 재생이 가능하도록 개발했다[5][6]. 그림 10은 스마트형 UI/UX기반 운영 앱 구성도이다.
Smart lightning operation app configuration
회원관리를 위한 로그인 부분과 기 삽입된 곡선택 기능을 포함하고 있으면 악기 선택 부분과 게임 부분도 포함되어있다. 또한, 실제 음표를 이용해서 악보를 작성하고 손가락의 위치 및 색을 지정하기 위한 편집 도구도 함께 제공한다. 회원관리를 위한 로그인 부분과 기 삽입된 곡 선택 기능을 포함하고 있으면 악기 선택 부분과 게임 부분도 포함되어있다. 또한, 실제 음표를 이용해서 악보를 작성하고 손가락의 위치 및 색을 지정하기 위한 편집 도구도 함께 제공한다.
그림 11은 스마트 라이트닝 앱으로 Main 기능과 무선통신을 위한 블루투스 연결인터페이스 음악 및 악기선택으로 구성되었다.
Smart lightning operation app configuration
또한 동기적으로 동작하는 “맞추어하기”, 비동기로 동작하는 “따라하기“ 기능으로 구분한다[7].
특기 맞추어하기와 따라하기는 아래와 같다.
• 맞추어하기 기능
- - 반주를 들으면서 건반을 맞추어 누르는 모드
- - 연주가 끝나면 건반 인식을 통해서 학습률을 볼 수 있음 ex) ‘33%/ 66%/ 100% 연주된다.’
• 따라하기 기능
- - 사용자가 악보를 보고 치는 모드, 사용자가 쳐야만 다음 음표로 넘어갈 수 있음
그림 12는 스마트 상에서 음악 제작 및 편집기능으로 화음선택, 확대축소, 악보이동, 불러오기 및 저장하기 기능을 포함한다.
Music production and editing function
• 음표 추가
- - 마디마다 화음 설정, 음표 추가 버튼
- - 음표 추가 모드에서 사용자는 원하는 박자와 손가락 위치 색상을 지정
• 음표 수정
- - 음표를 누른 상태로 위아래로 드래그 하면 음표의 위치가 변환
- - 음표를 누르면 옆에 잠시간 ‘수정’버튼이 뜬다. 수정 버튼을 누르면 음표를 수정
• 마디 초가
- - 마디는 처음에 사용자가 설정한 박자에 맞추어 배정
- - 사용자가 박자를 넘어 작곡했다면 음표 추가 아이콘이 빨갛게 변화하여 잘못되었음을 알림.
그림 13은 음악을 제작하기 위한 인터페이스로 화음을 선택하고 손가락의 위치별 색을 지정하는 기능을 가지고 있다. 또한 사용자의 편의 및 접근성을 극대화하기 위해 악보 확대 및 이동 기능을 가지고 있다. 주요기능에 대한 설명은 다음과 같다.
Edit and save music
• 화음 선택
- - 마디의 화음 선택 아이콘을 눌러 해당 마디의 화음을 설정
- - 화음을 선택했다면 이미지 변환.
• 라이트닝 색표시
- - 건반 표시는 색표시로 3색 LED 기준을 재작
- - 오른손을 기준으로 5가지 색을 표시함
- - 왼손을 화음으로 음악 재생 시 자동으로 나옴
• 악보 확대 및 축소
- - 스마트기기의 작은 화면에서 쉽게 편집
- - 위치별 마디별 확대 및 축소
• 불러오기 및 저장하기
- - 기존 작성된 음악을 가져옴
- - 편집된 음을 저장함
3.3 스마트 라이트닝 운용시험
스마트 라이트닝 보스 시스템은 그림 14는 제안된 라이트닝 반응형 키보드로 손가락 위치별로 색을 구분해서 표시되고 실시간성을 높이기 위해 키보드에 내장된 메모리에 음악을 저장하도록 설계하고 시험했다[8].
Lightning board operation test
시험 결과 대부분이 동작이 원활이 진행되고 오른 손가락 기준으로 문제없이 연주되었다.
또한 무선이나 유선 통신연결과 무선통신 연결은 지원함으로서 통신이 단절되었을 경우 추가 보조 수단을 사용하도록 했다.
UI/UX형 라이트닝 키보드 시스템의 활용 분야로 학교 및 학원 음악학습을 위한 따라하기 식 학습을 할 수 있고, 개인 음악학습 및 가정에서 개인이 직접 악보를 다운받아서 따라하기 연습 및 자리연습 진행한다. 또한 악보제작을 통한 패키지 판매로 부가 수익을 창출한다.
Ⅳ. 결론 및 향후 과제
전자악기 분야는 음악뿐 아니라 다양한 장르에서 여러 형태로 활용되고 있다. 특히 전자 키보드는 음악에 특별한 음색 및 음향에 적극적으로 활용되고 있다. 하지만 스마트 기기와 연동해서 음악을 제작하고 편집하는 제품도 없다 IoT 기반의 무선 스마트 기술은 기존 피아노 건반 분에 적용되고 있으면 각종 헬스케어, 노인치매, 개인 인지학습에 적극적으로 활용되고 있다. 본 연구에서는 스마트 라이트닝 키보드 솔루션을 제안했다. 스마트라이트닝 키보드는 기존의 터치 형태로 누르기만하는 장치가 아닌 양손 가락의 위치별 색을 표시해 직관적으로 음악을 연주할 수 있도록 설계했다. 또한, 음악을 제작 및 편집기능을 포함해 누구나 쉽게 스마트기기와 제안하는 라이트닝 키보드만을 가지고 음악학습을 진행한다. 더 나아가 노인치매 예방 및 치료에 촉각, 시각, 청각을 이용한 솔루션으로 자리 잡을 것으로 생각한다. 향후 과제로 작곡된 음악에 대한 음원 및 저작권을 상품화해 추가적인 매출로 이어질 수 있으면 사용자의 패턴을 분석한 AI형 작곡에 적극 활용될 수 있으리라 사료된다.
References
-
Naresh Kumar Seetlani, Narindar Kumar, Khalid Imran, Asif Ali, Nadia Shams, and Taha Sheikh, "Alzheimer and vascular dementia in the elderly patients", Pakistan Journal of Medical Sciences, Vol. 32, No. 5, pp. 1286‐1290, Sep. 2016.
[https://doi.org/10.12669/pjms.325.10792]
- Nastaran Majdi Nasab, Mohammad Ali Bahrammi, Mohammad Reza Amiri Nikpour, Fakher Rahim, and Sayed Navid Naghibis., "Efficacy of rivastigmine in comparison to ginkgo for treating Alzheimer’s dementia", The Journal of the Pakistan Medical Association, Vol. 62, No. 7, pp. 677-680, Jul. 2012.
- Industrial Consolidation Competitiveness Enhancement Project, "Development of Intelligent Digital Piano Using IT Convergence Technology", Ministry of Trade, Industry and Energy, Oct, 2017.
- Digital piano, "Android-based piano platform", Android Play Store, 2020.12.
-
Balazs Bank and Juliette Chabassier, "Model-based digital pianos: from physics to sound synthesis", IEEE Signal Processing Magazine, Vol. 36, No. 1, pp. 103-114, Jan. 2019.
[https://doi.org/10.1109/MSP.2018.2872349]
- S. Zambon, "Distributed piano soundboard modeling with common-pole parallel filters", in Proc. Stockholm Music Acoust. Conferences, Stockholm, Sweden, pp. 641-647, Aug. 2013.
-
B. Bank, S. Zambon, and F. Fontana, "A modal-based real-time piano synthesizer", IEEE Transactions on Audio, Speech, and Language Processing, Vol. 18, No. 4, pp. 809-821, May 2010.
[https://doi.org/10.1109/TASL.2010.2040524]
- G. Borin, D. Rocchesso, and F. Scalcon, "A physical piano model for music performance", in Proc. International Computer Music Conferences, Thessaloniki, Greece, pp. 350-353, Sep. 1997.
2008년 2월 : 목원대학교 전자정보보호공학 (공학박사)
2016년 6월 ~ 현재 : 한국 ICT 에듀넷 대표
관심분야 : AR, VR, 정보통신, 멀티미디어
2007년 2월 : 충북대학교 대학원 전자계산학과 (이학사)
2014년 4월 : 동국대학교 멀티미디어공학과 조교수
2020년 4월 ~ 현재 : 서원대학교 멀티미디어학부 조교수
관심분야 : AR, VR, 정보통신, 멀티미디어