
전자휘슬 음향 검출 및 RF 통신 기반 청각장애 선수용 촉각 피드백 시스템
초록
청각장애 선수는 심판 휘슬을 적시에 인지하기 어렵다. 본 연구는 전자휘슬 음향을 검출·분류해 HC-12 433 MHz RF로 원격 진동 장치에 전달하는 공학적 프로토타입을 구현하고 ESP-01 로컬 Wi-Fi와 비교하였다. 제안 시스템은 3.3-3.8 kHz 대역 에너지와 onset/offset 규칙으로 SHORT/LONG을 판별하였다. 임계값 설정에 쓴 93개 데이터는 모두 규칙과 일치했으나 독립 시험 정확도가 아닌 데이터셋 내부 결과이다. Goertzel과 FFT는 동일 판정으로 16 ms 홉을 충족하였다. 야외 1-70 m 수신율은 HC-12 99.6%, ESP-01 100%였고, 성공 ACK RTT 중앙값은 127.217 ms와 225.369 ms로 HC-12가 낮았으나 이는 통신 왕복 지연이며 촉각 종단 간 지연은 아니다. 70 m에서 실제 진동을 확인했으며, HC-12의 예상 평균 소비 전력은 ESP-01보다 73.4% 낮게 산정되었다. 결과는 본 구현 조건에 한정된다.
Abstract
Deaf athletes may not perceive a referee's whistle in time. This study implemented a prototype that detects electronic-whistle sounds and relays events over an HC-12 433 MHz RF link to a remote vibration device, using ESP-01 Wi-Fi as a baseline. The system classified whistles as SHORT or LONG using 3.3-3.8 kHz band energy and onset/offset rules. All 93 threshold-setting samples matched the rules; this was a dataset-internal result, not independent accuracy. Goertzel and FFT produced identical decisions within a 16 ms hop. Across 1-70 m, packet reception was 99.6% for HC-12 and 100% for ESP-01; median successful-ACK RTT was 127.217 and 225.369 ms, respectively. This RTT is not tactile end-to-end latency. Vibration was confirmed at 70 m, and estimated average power was 73.4% lower for HC-12. Results are limited to these implementations.
Keywords:
deaf athletes, electronic whistle, tactile feedback, embedded system, goertzel algorithm, wireless event deliveryⅠ. 서 론
축구, 럭비, 농구 등 스포츠 경기에서 심판의 휘슬은 경기의 시작, 중단, 재개 및 주요 판정을 전달하는 청각 신호로 사용된다[1]-[3]. 그러나 청각장애 선수는 휘슬을 인지하지 못해 플레이를 계속하거나, 경기 중단 여부를 확인하기 위해 심판과 주변 선수를 반복적으로 주시해야 한다. Atherton et al.[4]은 영국 Deaf 축구 공동체에서 한 청각장애 선수가 심판의 휘슬을 인지하지 못해 경기 지연으로 경고를 받은 경험을 보고하였다. 이 사례는 휘슬이라는 청각 신호에 대한 인지 실패가 단순한 불편을 넘어 경기 참여와 운영상의 불이익으로 이어질 수 있음을 보여준다.
현장에서는 휘슬을 깃발이나 수신호와 병행하는 시각적 보완이 사용되지만, 선수는 공·동료·상대 선수와 심판 신호를 동시에 확인해야 한다. 촉각 피드백은 시선을 경기 상황에 유지하면서 별도의 감각 채널로 이벤트를 전달할 수 있는 대안이다. 휘슬 감지나 수동 입력을 촉각 신호로 전달하려는 시도가 있었으나[5][6], 전자휘슬 음향의 직접 취득·자동 검출·지속 시간 분류부터 원격 진동까지의 처리 경로와 무선 전달 특성을 동일한 조건에서 함께 검증한 결과는 제한적이다.
본 연구에서 HC-12 433 MHz RF를 제안 링크로 선택한 이유는 휘슬 이벤트가 간헐적이므로 고대역폭 네트워크보다 접속 절차가 단순한 전용 이벤트 링크의 적용 가능성을 검토할 필요가 있기 때문이다. HC-12의 투명 UART 전송은 본 구현에서 AP 연결과 AT 송신 핸드셰이크를 요구하지 않는다. 이에 전자휘슬 음향을 검출·분류하여 HC-12 RF로 원격 진동 장치에 전달하는 시스템을 구현하고, ESP-01 로컬 Wi-Fi/UDP를 비교 기준으로 두어 동일한 제어부, 이벤트 페이로드 및 모터 명령 조건에서 통신 성능과 데이터시트 기반 예상 소비 전력을 평가하였다. 이 비교는 RF와 Wi-Fi 규격 일반의 우열이 아니라 본 연구에서 구현한 HC-12와 ESP-01 구성의 공학적 특성을 대상으로 한다.
연구 범위는 통제된 전자휘슬·근접 마이크 조건에서 시스템의 기능적 동작과 통신 특성을 확인하는 공학적 프로토타입 검증으로 한정하였다. 청각장애 선수를 대상으로 진동 패턴의 인지성, 경기 중 반응 시간 또는 실제 경기 효과는 평가하지 않았다.
본 논문의 주요 결과와 공학적 기여는 다음과 같다.
첫째, 전자휘슬 근접 수음, 휘슬 검출, 지속 시간 분류, HC-12 433 MHz RF 전달 및 진동 출력을 연계한 처리 경로를 구현하였다. 임계값 설정에도 사용한 데이터셋 93개에서는 설정 규칙의 내부 일치를 확인하였고, 70 m RF 분석 세트에서는 실제 모터 진동 20/20을 확인하였다. 전자는 독립 시험 정확도가 아니라 동일 데이터셋에서의 규칙 적용 결과이다.
둘째, Goertzel과 512-point CMSIS-DSP FFT는 동일한 판정과 16 ms 홉 충족 결과를 보였다. FFT의 전체 특징 추출 시간은 67.9% 짧고, Goertzel의 작업 RAM 추정값은 94.3% 적어 본 구현은 이 절충에서 Goertzel을 선택하였다.
셋째, CRC-16 프레임 검증과 시퀀스 번호 기반 중복 제거를 공통 프로토콜에 적용하여 정상 프레임 비율 HC-12 RF 구성 99.10%와 ESP-01 Wi-Fi 구성 100%를 기록하고, 실험 범위에서 중복 모터 실행이 발생하지 않음을 확인하였다.
넷째, 야외 1-70 m에서 HC-12 RF 구성과 ESP-01 Wi-Fi 비교 구성의 패킷 수신율이 각각 99.6%와 100%였으며, 70 m에서 HC-12 RF 기반 전체 기능 경로가 동작함을 확인하였다.
다섯째, 본 구현 조건에서 HC-12 RF 구성의 성공 ACK RTT 중앙값과 P95-P50 지터는 127.2 ms와 2.0 ms, ESP-01 Wi-Fi 구성은 225.4 ms와 111.9 ms였다. 이 RTT는 촉각 종단 간 지연이 아니다. 데이터시트 기반 예상 평균 소비 전력은 269.5 mW와 1,013.6 mW로 산정되었다.
Ⅱ. 관련 연구
2.1 청각장애 스포츠의 신호 접근성과 현장 보완 방식
경기 중 청각 신호를 인지하지 못할 때 나타나는 불편은 여러 종목에서 보고되었다. 2008년 축구 사례에서는 선수가 휘슬을 듣지 못해 경기 중단 상황을 지속적으로 시각 확인해야 했으며[7], 2011년 농구 사례에서는 휘슬 이후에도 플레이를 계속하는 문제가 소개되었다[8]. 2021년 럭비 사례에서는 인공와우 장치의 배터리 문제로 득점 여부를 확신하지 못한 경험이, 2023년 호주식 풋볼 사례에서는 보호 헤드기어가 소리를 약화시켜 경기 단서와 심판 신호를 듣기 어렵다는 점이 보고되었다[9][10]. 이들 사례는 휘슬 미인지, 지속적인 시각 확인 부담 및 보조기기·보호장비 의존의 한계를 보여준다.
경기 규정과 운영 사례도 적시 신호 인지의 필요성을 뒷받침한다. 축구에서 경기 재개 지연은 경고 대상이며[11], 누적 경고나 반칙은 퇴장 또는 출전 정지로 이어질 수 있다[12]. Deaf Rugby에서는 선수가 휘슬 이후에도 플레이를 계속하는 사례가 보고되었고[13], 위험하거나 공정하지 않은 플레이는 제재 대상이다[14]. 또한 ICSD 승인 대회에서는 경기 중 보청기, 증폭기 및 외부 인공와우 장치의 사용이 제한된다[15]. 이에 Deaf football과 Deaflympics 현장에서는 휘슬과 깃발을 병행하는 방식이 사용되어 왔다[16]-[18].
학술 연구에서는 선수와 종목에 따른 신호 접근성의 차이가 강조되었다. Markov-Glazer et al.[19]은 Deaflympic 선수와 지도자의 시각적 지향성 및 의사소통 선호가 이질적임을 보고하였다. Steele et al.[20]은 육상 출발 신호의 자극 모달리티 조합이 반응 시간과 신호 접근성에 미치는 영향을 분석하였다. Saitoh와 Nitta[21]는 청각장애 농구에서 골대 회전등과 코너 깃발로 심판 휘슬을 보완하는 운영 방안을 기술하였고, Guerra[22]는 청각 보조기기를 사용하더라도 원거리의 심판이나 코치 신호를 놓칠 수 있음을 지적하였다. 따라서 시각 신호는 중요한 보완 수단이지만, 경기 시선과 심판 신호를 동시에 확인해야 하는 부담을 완전히 제거하지는 못한다.
2.2 스포츠 보조기술과 촉각 인터페이스
청각 신호를 시각 또는 촉각 신호로 전환하는 보조기술은 종목별 과제를 중심으로 개발되어 왔다. Shitara et al.[23]은 DHH 단거리 선수를 위한 HaptStarter를 개발하고 촉각 자극의 접촉 위치에 따른 반응 특성을 평가하였다. Elvitigala et al.[24]은 수영 출발 신호를 단계적 시각 신호로 제공하는 SwimSight를 제안하였다. Huffman et al.[25]은 상황적 공동설계를 통해 특정 사용자와 환경에 맞춘 Deaf Tech의 필요성을 제시하였다. SpokeSense[26], V Sports[27] 및 CoOP[28]도 실시간 센싱, 운영자와 선수 간 의사소통 및 혼합 능력 참여자 간 협력이라는 관점에서 경기 환경과 사용자 참여를 함께 고려하였다.
van Breda et al.[29]의 체계적 문헌고찰은 스포츠 맥락에서 촉각 피드백이 운동기술 습득이나 수행을 일반적으로 향상시킨다는 합의가 충분하지 않다고 지적하였다. 따라서 선행연구는 보조 신호의 설계 가능성을 보여주지만, 특정 시스템이 청각장애 선수의 경기력이나 반응 시간을 향상시킨다는 근거로 일반화하기 어렵다.
2.3 휘슬 기반 촉각 경보와 경량 음향 처리
휘슬 이벤트와 촉각 경보를 직접 연결한 연구로 Sultana[5]는 수구 선수를 위한 방수형 경보 장치를 제안하였다. 다만 공개적으로 확인할 수 있는 자료가 초록과 서지 정보 중심이어서 세부 신호처리와 성능평가 방법은 확인하기 어렵다. Molina와 Zapata[6]는 휘슬의 물리 버튼 입력을 ESP8266 기반 Wi-Fi/HTTP로 진동 손목밴드에 전달했으나, 휘슬 음향을 직접 수집·검출·분류하지 않았고 패킷 수신율, 오류율, 지연 시간 및 소비 전력의 정량 비교도 포함하지 않았다. Chen et al.[30]의 특허는 심판 또는 코치의 트리거를 사전 설정된 진동 패턴으로 전달하지만, 자동 휘슬 검출과 구현 구성 간 정량 비교는 제시하지 않는다.
소형 MCU에서 휘슬 음향을 실시간 처리하려면 제한된 연산 및 메모리 자원에서 관심 주파수 성분을 계산해야 한다. Goertzel 알고리즘[31]은 선택한 주파수 성분을 직접 계산할 수 있어 사전 분석으로 관심 대역을 정할 수 있는 전자휘슬 신호에 적용할 수 있다. 다만 여러 주파수 빈(Bin)을 계산할 때 최적화된 FFT보다 항상 빠르다고 가정할 수 없으므로 대상 MCU에서 처리 시간과 작업 메모리를 함께 비교해야 한다. 또한 실제 이벤트 판별에는 관심 대역 에너지뿐 아니라 배경 에너지, onset·offset 및 지속 시간 기준이 필요하다.
선행연구를 종합하면 종목별 시각·촉각 인터페이스와 원격 진동 전달 가능성은 제시되어 있으나, 전자휘슬 음향을 소형 MCU에서 직접 취득·검출하고 지속 시간 이벤트로 분류한 뒤 RF로 전달하는 전체 처리 경로의 검증은 제한적이다. 이에 본 연구는 통제된 전자휘슬·근접 마이크 조건에서 해당 처리 경로를 구현하고, 동일한 이벤트 프로토콜을 적용한 HC-12 RF 구성과 ESP-01 Wi-Fi 비교 구성의 전달 성능 및 데이터시트 기반 예상 소비 전력을 평가한다. 주요 선행연구의 입력 방식, 피드백 경로 및 검증 범위는 표 1에 비교하였다.
Ⅲ. 방법론
3.1 제안 시스템 및 데이터 취득
제안 시스템은 음향 이벤트를 취득·판별하는 송신부와 진동을 출력하는 수신부를 HC-12 433 MHz RF로 연결하였다. 양측 제어부에는 STM32F411RET6 MCU 기반 NUCLEO-F411RE를 사용하고, 송신부에는 INMP441 디지털 MEMS 마이크를, 수신부에는 진동 모터 구동부를 연결하였다. Wi-Fi 비교 구성은 HC-12만 ESP-01(ESP8266 기반 모듈)로 대체하고 나머지 조건을 동일하게 유지하였다.
전자휘슬은 통제된 음향 입력원으로 사용하였다. 송신부는 INMP441 PCM에서 휘슬을 검출해 지속 시간에 따라 SHORT 또는 LONG으로 분류하고, 수신부는 전달된 유형에 따라 각각 300 ms 또는 1,000 ms의 진동 명령을 실행하였다.
두 구성에는 동일한 PCM 취득·검출 코드와 이벤트 프로토콜을 적용하였다. 전체 구조와 하드웨어 인터페이스는 각각 그림 1과 표 2에 제시하였다.
INMP441은 NUCLEO-F411RE의 I2S2(PB10: CK, PB12: WS, PB15: SD)에 연결하고 Master Receive, 24비트 데이터 형식으로 설정하였다. 목표 샘플링 주파수는 16 kHz이며 CubeMX 계산값은 15.957 kHz였다. 분석 파라미터는 명목값 16 kHz를 기준으로 계산하였다. DMA1 Stream 3은 peripheral-to-memory, memory increment, half-word alignment 및 circular mode로 설정하였다.
2048 하프워드 순환 DMA 버퍼를 사용하였으며, 반전송 및 전송 완료 콜백에서는 처리 플래그를 설정하고 메인 루프에서 각 1024 하프워드 반버퍼를 처리하였다. INMP441은 모노 마이크이지만 I2S 프레임은 좌·우 두 채널 슬롯으로 구성되므로, 본 구현에서는 각 슬롯을 PCM 후보로 취득하였다. 하나의 슬롯은 두 개의 16비트 워드를 상위·하위 순서로 결합한 32비트 값으로 구성되며, 본 구현에서는 상위 24비트를 유효 데이터로 해석하였다. 이에 결합값을 signed 32비트로 해석한 후 산술 우측 시프트 8비트를 적용하여 signed 24비트 샘플로 정렬하였다. 두 슬롯 후보 중 절댓값이 큰 값을 선택하고, 추가로 산술 우측 시프트 8비트를 적용한 뒤 -32,768~32,767 범위로 포화하여 signed 16비트 PCM으로 변환하였다. 첫 번째 8비트 시프트는 32비트 슬롯의 유효 24비트를 정렬하기 위한 것이며, 실제 24비트에서 16비트로의 비트 깊이 변환은 두 번째 8비트 시프트에 해당한다. 따라서 Bband 임계값 100은 32비트 슬롯 결합값 기준으로 총 16비트의 우측 이동을 거쳐 생성된 signed 16비트 PCM 스케일을 기준으로 한다. 하나의 I2S 프레임은 총 4개의 하프워드로 구성되므로 각 반버퍼에서 256개의 PCM 샘플을 생성하였으며, 이는 실시간 분석의 홉 크기와 같다.
데이터 수집 시 최근 2048 PCM 샘플을 프리트리거로 유지하고, 블록 평균 절댓값이 임계값을 넘으면 SHORT 8192 샘플 또는 LONG 32768 샘플을 저장하였다. PCM은 ST-LINK Virtual COM Port의 USART2(PA2/PA3, 115200 bit/s)를 통해 전송하였다.
전자휘슬 입력 데이터셋은 SHORT, LONG 및 NON의 세 클래스로 구성하였다. 데이터셋은 실제 경기장 소음을 재현한 조건이 아니라 통제된 근접 수음 조건에서 수집하였다. 전자휘슬과 INMP441 마이크 사이의 거리는 10 cm(D1), 30 cm(D2), 50 cm(D3)로 설정하였다. 최종 데이터셋의 거리별 구성은 SHORT/LONG은 D1 10개, D2 11개, D3 10개였다. SHORT 입력은 8192 샘플(0.512 s), LONG 입력은 32768 샘플(2.048 s)로 저장하였다. NON 클래스는 휘슬 음향에 잡음을 혼합한 데이터가 아니라 전자휘슬을 작동시키지 않은 상태에서 별도로 취득한 비휘슬 입력으로 구성하였으며, 주변 소음, 말소리 및 손·책상 접촉에 따른 진동성 잡음을 포함하였다.
최종 데이터셋은 SHORT 31개, LONG 31개, NON 31개로 총 93개로 구성하였다. 이 데이터셋은 관심 주파수 대역과 검출 임계값을 설정하고 규칙 기반 검출기의 내부 동작을 확인하는 데 함께 사용하였다. 따라서 저장 PCM 분석 결과는 독립 시험 데이터에 대한 일반화 성능이 아니라, 설정된 데이터셋에서의 규칙 일치 결과로 해석하였다. 데이터셋 구성은 표 3에 제시하였다.
3.2 휘슬 검출 알고리즘 및 임베디드 구현
수집한 PCM은 Python에서 파형, RMS, 최대 진폭, 주요 주파수 및 휘슬 대역 에너지 비율을 분석하였다. 512 샘플 프레임과 256 샘플 홉(각각 32 ms와 16 ms)을 사용하고, DC 평균 제거와 Hann 윈도우 적용 후 FFT 전력 스펙트럼을 계산하였다. 본 연구에서 사용한 단일 전자휘슬의 SHORT 및 LONG PCM에 대한 FFT 전력 스펙트럼에서 주요 에너지가 집중된 범위를 확인하고 관심 대역을 3.3-3.8 kHz로 설정하였다. 이 대역은 본 연구의 전자휘슬과 수음 조건에서 도출한 값이며, 모든 전자휘슬에 공통되는 주파수 규격으로 간주하지 않았다.
관심 대역 에너지 비율 Rband는 50-7900 Hz 범위의 전체 에너지에 대한 3.3-3.8 kHz 대역 에너지의 비로 정의하였다. 또한 대역 에너지 비율과 시간영역 RMS를 함께 반영하기 위해 대역 RMS 지표 Bband를 다음과 같이 계산하였다.
| (1) |
| (2) |
Rband ≥ 0.55 및 Bband ≥ 100인 프레임을 휘슬 후보로 판정하였다. 식 (1)은 분석 대역 50 Hz-7.9 kHz의 전체 전력에 대한 전자휘슬 관심 대역 3.3-3.8 kHz 전력의 비율 Rband를 나타낸다. 여기서 E(f1-f2)는 한 프레임에서 해당 주파수 구간의 전력을 합산한 값이다. 식 (2)는 DC 성분을 제거한 프레임의 시간 영역 RMS에 Rband의 제곱근을 곱하여 관심 대역의 진폭 성분을 반영한 Bband를 나타낸다. 연속 2개 후보로 이벤트를 시작하고 연속 15개 비활성 프레임(240 ms)으로 종료하되, 종료 대기 구간은 지속 시간에 포함하지 않았다. onset-offset이 160 ms 이상인 이벤트만 유효 휘슬로 인정하고, 복수 이벤트에서는 지속 시간이 가장 긴 항목을 선택하였다.
대표 이벤트의 onset부터 offset까지를 검출 지속 시간 D로 정의하였다. 스포츠 규칙에는 공통된 장·단음 시간 기준이 없지만, World Rugby는 판정에 따라 길고 큰 휘슬과 짧은 휘슬을 구분한다[32]. 정량 참조로 COLREG Rule 32의 약 1 s와 4-6 s 구분[33][34], 일반 스포츠 휘슬이 주로 250 ms 미만이고 최대 450 ms였다는 보고[35], 전자휘슬의 2 s 사용 조건[36]을 검토하였다. 이를 데이터의 지속 시간 분포와 함께 고려하여 D = 1.00 s를 운용 경계로 설정하였다. 이는 스포츠 규칙의 공식 유형이 아니라 두 촉각 명령을 위한 본 시스템의 정의이다. 식 (3)은 검출 지속 시간 D가 0.16 s 이상 1.00 s 미만인 이벤트를 SHORT로 분류하는 조건이며, 식 (4)는 D가 1.00 s 이상인 이벤트를 LONG으로 분류하는 조건이다. 여기서 D는 첫 활성 프레임의 onset부터 마지막 활성 프레임 끝의 offset까지이며, 이벤트 종료를 확인하기 위한 비활성 프레임 구간은 포함하지 않는다.
| (3) |
| (4) |
STM32F411RET6 기반 실시간 구현에는 Goertzel 알고리즘[31]을 적용하였다. 명목 샘플링 주파수 16 kHz와 512 샘플 프레임 조건에서 3.3-3.8 kHz에 해당하는 주파수 빈(Bin) 106-121을 Goertzel 계산 대상으로 설정하였다. 각 프레임에서 DC 평균값을 제거하고 Hann 윈도우를 적용한 후, 관심 대역 에너지 비율 Rband와 대역 RMS 지표 Bband를 산출하였다. 저장 PCM의 FFT 분석은 관심 대역 선정과 기준 특징 계산에 사용하였고, STM32 실시간 구현에서는 선정된 동일 대역의 주파수 성분을 계산하기 위해 Goertzel 알고리즘을 적용하였다. 따라서 두 알고리즘은 서로 다른 검출 조건을 구성한 것이 아니라 저장 데이터 분석과 MCU 구현이라는 서로 다른 단계에서 사용하였다. 두 단계에는 동일한 관심 주파수 대역과 프레임 활성 여부, 이벤트 시작·종료 및 분류 규칙을 적용하였다.
연속된 활성 프레임 2개가 확인되면 첫 번째 활성 프레임을 onset으로 설정하고 IDLE 상태에서 ACTIVE 상태로 전환하였다. 이후 연속된 비활성 프레임 15개가 확인되면 이벤트를 종료하고, 마지막 활성 프레임의 끝을 offset으로 설정하였다. 종료 확인에 사용한 비활성 프레임 구간은 이벤트 지속 시간에 포함하지 않았다. 유효 이벤트의 최소 지속 시간은 160 ms, SHORT/LONG 분류 경계는 1.00 s로 설정하였으며, 이벤트 종료 후 250 ms의 불응 구간(Refractory interval)을 적용하였다. UART 로그에는 이벤트 식별자, 분류 유형, onset, offset, 지속 시간, 최대 Rband와 Bband 및 무선 이벤트 전달 상태를 기록하였다. Python 기반 저장 PCM 분석과 STM32 실시간 구현에 적용한 주요 휘슬 검출 파라미터는 표 4에 정리하였다.
Goertzel과 FFT의 판정 정합성을 확인하기 위해 93개 데이터를 동일한 프레임·홉, 전처리, 관심 빈 및 이벤트 규칙으로 분석하였다. 비교 지표는 데이터별 이벤트 검출과 클래스 판정, 6,627개 프레임의 활성 여부, 검출 지속 시간 및 Rband 차이였다.
실행 시간은 16 MHz STM32F411RET6의 별도 Release(-Os, hard-float) 벤치마크에서 측정하였다. 고정된 동일 512 샘플 합성 PCM 프레임에 16빈 Goertzel과 CMSIS-DSP 512-point arm_rfft_fast_f32[37]를 적용하고, 스펙트럼 연산부와 전체 특징 추출을 구분하였다. 인터럽트를 비활성화한 상태에서 DWT 사이클을 사용하여 20회 워밍업 후 200회 측정을 20세트 반복했으며, 정상 상태 처리 마감 시간은 16 ms 홉으로 정의하였다.
작업 RAM은 Release 빌드의 링커 맵과 호출 경로 최대 스택 사용량을 합산하여 추정하고, 공통 PCM·Hann 버퍼와 플래시에 위치한 FFT 테이블은 제외하였다. 따라서 실행 시간은 보드 실측값, 작업 RAM과 전체 송신 펌웨어 RAM은 빌드 산출물 기반 추정값이다.
3.3 이벤트 전달 및 평가
HC-12는 5 V, FU3, P4, C001 및 Baud Rate 9600으로 설정하고 USART6 PA11/PA12와 연결했으며 PA8을 SET 신호로 사용하였다. 두 구성의 MCU-모듈 UART는 모두 9600 bit/s였으나, HC-12는 투명 UART, ESP-01은 AT 명령 기반 UDP를 사용하였다.
프레임은 <body>*<CRC16>\r\n 형식이며, RF와 Wi-Fi 링크에 공통으로 적용한 구조를 그림 2에 제시하였다. CRC-16/CCITT-FALSE는 초기값 0xFFFF와 다항식 0x1021을 사용하여 body의 ASCII 바이트에만 계산하였다. *는 body와 CRC를 구분하며, CRC는 네 자리 16진수 문자로 전송하고 CR/LF로 프레임을 종료하였다. EVT body는 EVT,<run_id>,<sequence>,<phase>,<detected>,<intended>,<onset_ms>,<duration_ms>로 구성하였고, ACK body는 ACK,<run_id>,<sequence>,<phase>로 구성하였다. 수신부는 CRC와 필드를 검증하고 run_id와 sequence로 중복을 제거한 뒤 신규 이벤트에만 모터 명령을 실행하였다. ACK는 프레임 검증 및 이벤트 처리 후 실험용 RTT 측정을 위해 반환하였다.
Wi-Fi 비교 구성은 통신 모듈만 ESP-01로 변경하였다. 수신부 ESP-01은 SoftAP 모드의 AP(Access Point)로 동작하여 WhistleNet 무선망을 생성하고, IP 주소 192.168.4.1의 UDP 포트 5000에서 이벤트를 수신하도록 구성하였다. 송신부 ESP-01은 Station 모드로 WhistleNet에 접속하고 로컬 UDP 포트 5001을 사용하여 수신부로 이벤트를 전송하였다. 두 ESP-01은 5 V 어댑터를 통해 전원을 공급하고 USART6 9600 bit/s로 제어했으며, 펌웨어에서 AT+RFPOWER=40을 요청하였다. 각 EVT와 ACK는 AT+CIPSEND, > 프롬프트, payload 및 SEND OK 절차로 전송하고, 수신 payload는 +IPD 길이 정보를 기준으로 추출하였다. 따라서 ESP-01 경로에는 UART 전송 외에 AT 응답과 UDP 처리 절차가 포함되었다.
거리 시험에서 송신부는 5 V USB 2,200mAh 파워뱅크, 수신부는 노트북 USB로 구동하고 각 모듈은 노드의 5 V 전원을 사용하였다. 통신 시험 중 전력은 계측하지 않았으며, 공통 프로토콜과 조건은 표 5에 정리하였다.
통신 성능은 시야가 확보된 야외 1, 10, 30, 50 및 70 m에서 링크별로 평가하였다. 각 조건에서 워밍업 5회 후 SHORT/LONG을 교대로 50회 전송했으며 간격은 1,500 ms, ACK 타임아웃은 1,000 ms였다. 동일 조건의 복수 로그에서는 결과와 무관하게 최초 정상 완료 실행을 선택하였다. 야외 분석은 총 500개 이벤트이며, 거리·링크별 50회는 하나의 물리적 시험 세트에서 연속 수행하였다.
실내 1 m에서도 링크별 워밍업 5회와 측정 50회를 수행하였다. 자동 통신 시험은 야외 500건과 실내 100건으로 구성하되 결과는 환경별로 구분하였다.
| (5) |
| (6) |
| (7) |
| (8) |
| (9) |
식 (5)는 중복을 제거한 고유 수신 이벤트 수 Nunique_received를 송신 이벤트 수 Ntransmitted로 나눈 패킷 수신율을 나타낸다. 식 (6)은 고유 수신 이벤트 중 run_id, sequence 및 이벤트 유형이 송신 기록과 일치한 수 Ncorrect의 비율인 페이로드 정확도를 나타낸다. 식 (7)은 고유 수신 이벤트 중 PB0 모터 명령이 실행되고 실험자가 실제 진동을 확인한 수 Nactual_motor_vibration의 비율을 나타낸다. 식 (8)은 송신 이벤트 중 동일 run_id, sequence 및 phase의 ACK가 반환된 수 NACK의 비율을 나타낸다. 식 (9)는 CRC 오류 수 NCRC_error와 형식 오류 수 Nformat_error의 합을 전체 검증 프레임 수 Nframed로 나눈 프레임 페이로드 오류율을 나타낸다. 여기서 Nframed는 수신 파서가 검증 대상으로 기록한 정상 프레임, CRC 오류 프레임 및 형식 오류 프레임 수의 합이다. RTT 타이머는 링크별 송신 함수 호출 직전에 시작해 동일 run_id, sequence 및 phase의 ACK 수신 시 종료하였다. 측정값은 9600 bit/s UART, 모듈·무선·수신부 처리와 ACK 반환을 포함하며, ESP-01에서는 AT·UDP 처리도 포함한다. 성공 ACK에서 중앙값과 nearest-rank P95를 구하고 지터를 P95-P50으로 정의하였다. 이는 구현 경로의 왕복 지표이며 무선 물리계층이나 PCM onset-실제 진동 개시의 종단 간 지연이 아니다. 진동 시작 시각·강도·지속 시간은 센서로 계측하지 않았다.
전자휘슬 통합 시험은 링크별 70 m에서 SHORT와 LONG을 각각 10회씩 교대로 입력하는 총 20회의 사전 계획 시험으로 구성하였다. 전자휘슬 버튼 조작에 따른 입력 편차를 고려하여 유형별 최대 5회의 추가 시도를 허용하였으며, 링크당 총 시도 상한은 30회로 설정하였다. 1 s의 guard time 후 10 s의 검출 window를 적용하였다. 검출률은 사전 계획 시험 20회 전체를 기준으로 산출하였고, 분류 및 진동 출력은 검출된 이벤트 중 SHORT와 LONG 각 10건으로 구성한 분석 세트를 기준으로 평가하였다. 분석 세트는 검출 이후의 분류·전달·진동 출력 경로를 확인하기 위한 것으로 검출률 산정에는 사용하지 않았다. 검출·분류, 고유 수신, 모터 명령, ACK 및 실제 진동을 기록했으며, 공통 외부 시간 기준이 없어 PCM onset 기반 종단 간 지연은 정량 지표에서 제외하였다.
데이터시트 기반 예상 평균 소비 전력은 5 V 공통 입력을 기준으로 두 NUCLEO-F411RE의 MCU 회로, LDO 및 전원 LED와 INMP441, 통신 모듈 및 진동 모터를 포함하여 산정하였다[38]-[44]. 측정과 디버깅에 사용한 ST-LINK/USB 회로와 소등 상태의 사용자 LED는 산정 대상에서 제외하였다. STM32F411RET6의 동작 전류는 보드당 5.1 mA, 전원 LED는 3.0 mA, LD39050의 정지 전류는 0.02 mA로 적용하였다. 이에 따라 두 NUCLEO-F411RE 대상 회로의 소비 전력은 81.2 mW로 계산하였다.
INMP441은 3.3 V, 2.2 mA의 동작 조건을 5 V 입력 기준으로 환산하여 11.0 mW로 계산하였다. HC-12는 FU3 모드의 평균 동작 전류 16 mA를 모듈당 적용하여 두 모듈의 소비 전력을 160 mW로 산정하였다. ESP-01 모듈은 ESP8266 칩, 외장 플래시 메모리, 5 V 입력 어댑터의 LDO 및 전원 LED를 포함한 대표 동작 전류를 모듈당 90.5 mA로 설정하였다. 이에 따라 두 ESP-01의 소비 전력은 905 mW로 계산하였으며, 부품별 전류 편차를 고려한 예상 범위는 850-970 mW로 설정하였다.
진동 모터의 구동 전력은 5 V, 60 mA 조건의 300 mW로 가정하였다. 분당 이벤트 수를 n, 전체 이벤트 중 LONG 이벤트 비율을 q라고 정의하였다. SHORT와 LONG의 모터 구동 시간은 각각 0.3 s와 1.0 s이므로 모터의 예상 평균 소비 전력은 다음과 같이 계산하였다. 식 (10)은 모터 구동 전력을 300 mW로 가정하고, 분당 이벤트 수 n과 LONG 이벤트 비율 q를 이용하여 모터의 예상 평균 소비 전력 Pmotor를 계산한다. 여기서 (1 - q)와 q는 각각 SHORT와 LONG 이벤트의 발생 비율을 나타낸다.
| (10) |
대표 사용 조건으로 분당 5회(n=5), SHORT/LONG 비율 1:1(q=0.5)을 적용하면 모터의 예상 평균 소비 전력은 16.25 mW이다.
이벤트 전송에 따른 증분 에너지는 RF 13.08 mJ/event, Wi-Fi 2.28 mJ/event로 설정하였다. 이벤트당 증분 에너지를 Eincrement라고 할 때, 송신에 따른 예상 평균 증분 전력은 다음과 같이 계산하였다. 식 (11)은 이벤트당 송신 증분 에너지 Eincrement(mJ/event)에 분당 이벤트 수 n을 곱하고 60 s로 나누어 송신에 따른 예상 평균 증분 전력 Pincrement(mW)를 계산한다.
| (11) |
분당 5회의 조건을 적용하면 송신 증분 전력은 RF 1.09 mW, Wi-Fi 0.19 mW로 계산된다. 각 구성의 전체 예상 평균 소비 전력은 두 MCU 대상 회로, 마이크, 통신 모듈, 모터 평균 전력 및 송신 증분 전력을 합산하여 산정하였다. 구성요소별 산정 조건과 입력값은 표 6에 정리하였다. 이 산정은 실측 결과가 아니라 회로도, 데이터시트 및 명시한 사용 시나리오와 에너지 가정에 근거한 예상값이다.
Ⅳ. 결 과
4.1 휘슬 검출 및 알고리즘 비교 결과
저장된 PCM 데이터 93개에 동일한 휘슬 검출 규칙을 적용한 결과, SHORT와 LONG 각 31개에서는 유효 이벤트가 검출되었고 NON 31개에서는 유효 이벤트가 검출되지 않았다. 검출 지속 시간은 SHORT에서 192-416 ms로 나타났으며 중앙값은 272 ms였다. LONG에서는 1,152-1,824 ms로 나타났으며 중앙값은 1,440 ms였다. SHORT의 최대 지속 시간과 LONG의 최소 지속 시간 사이에는 736 ms의 분리 구간이 형성되었고, SHORT/LONG 분류 경계인 1.00 s는 이 구간 안에 위치하였다.
Rband ≥ 0.55, Bband ≥ 100, 최소 유효 이벤트 160 ms, 종료 확인 240 ms 및 SHORT/LONG 분류 경계 1.00 s를 적용한 결과, 93개 데이터의 판정은 모두 설정 클래스와 일치하였다. 관심 대역 음향 특징과 검출 지속 시간 분포는 그림 3에, 클래스별 유효 이벤트 수와 규칙 일치 결과는 표 7에 제시하였다. 동일한 데이터가 관심 주파수 대역과 검출 임계값 설정에도 사용되었으므로, 93/93은 독립 시험 정확도가 아니라 본 데이터셋에서 설정 규칙을 적용했을 때의 내부 일치 결과이다. 따라서 미수집 휘슬이나 다른 음향 환경에 대한 검출·분류 성능을 의미하지 않는다.
Acoustic features and duration distribution of the dataset (a) Target-band energy ratio and band RMS metric (b) SHORT/LONG duration and the 1.00 s operational threshold
FFT와 Goertzel은 데이터 93개의 이벤트 검출 및 클래스 판정과 총 6,627개 프레임의 활성 여부 판정에서 모두 동일한 결과를 보였으며, 검출 지속 시간의 차이는 0 ms였다. Rband의 Pearson 상관계수는 r > 0.9999, 평균 절대오차는 약 6.08×10^-7이었다.
스펙트럼 연산 시간은 Goertzel 9.203 ms, FFT 2.207 ms로 FFT가 약 4.17배 빨랐고, 전체 특징 추출 시간은 9.788 ms와 3.144 ms로 FFT가 67.9% 짧았다. 두 방법 모두 16 ms 홉을 충족했으며 Goertzel도 6.212 ms의 처리 여유를 확보하였다. 고정 입력과 인터럽트 비활성화 조건의 20개 반복 세트에서 평균 사이클은 각 알고리즘 내에서 모두 동일하였다.
추정 작업 RAM은 Goertzel 256 B, FFT 4,496 B로 Goertzel이 94.3% 적었다. 공통 버퍼는 제외하고 FFT 테이블 4,992 B는 플래시에 배치하였다. 전체 RAM 추정값은 80,916 B(61.7%)와 85,156 B(65.0%)로 모두 128 KB 한도 내였고 차이는 3.3%p였다. 따라서 RAM 차이는 필수 선택의 제약이 아니며, FFT는 처리 시간, Goertzel은 작업 RAM 측면에서 유리하였다. 결과는 표 8에 제시하였다.
4.2 HC-12 RF 및 ESP-01 Wi-Fi 구현 구성 비교
야외에서 구성별 250회를 전송한 결과 고유 수신은 HC-12 RF 249/250(99.6%), ESP-01 Wi-Fi 250/250(100%)였고, ACK 성공은 각각 245/250(98.0%)와 249/250(99.6%)였다. 수신된 이벤트의 페이로드와 실제 모터 진동이 일치해 수신 이벤트 기준 정확도와 진동 실행률은 모두 100%였으며, 송신 이벤트 기준 최종 촉각 출력률은 HC-12 RF 99.6%와 ESP-01 Wi-Fi 100%였다. 거리별 이벤트 수신, ACK 성공 및 RTT 결과는 표 9에 제시하였다.
성공 ACK의 RTT 중앙값은 HC-12 RF 127.217 ms(n=239), ESP-01 Wi-Fi 225.369 ms(n=249), P95는 129.188 ms와 337.224 ms, 지터는 1.971 ms와 111.855 ms였다. 정상 프레임은 549/554(99.10%)와 550/550(100%)였고 중복은 0건이었다. 이는 구현 경로 RTT이며 무선 방식 자체나 촉각 종단 간 지연을 나타내지 않는다. 분포는 그림 4에 제시하였다.
RF 50 m에서는 수신 49/50, ACK 성공 45/50, CRC 오류 4건과 형식 오류 1건이 기록되었다. 전체 50개 시퀀스 중 개별 RTT 보고에는 유효 RTT 39건과 명시적 실패 4건이 기록되었으며, 7개 시퀀스에는 RTT 보고 행이 없었다. 집계상 ACK 성공 45건과 유효 RTT 39건의 차이인 6건은 ACK가 성공했지만 유효 RTT 표본으로 복원되지 않은 경우에 해당하며, ACK 실패 5건 중 4건만 명시적 RTT 실패로 기록된 것으로 해석된다. 따라서 지연 통계에는 유효 RTT 39건만 포함하고, 명시적 실패와 RTT 행 누락에는 임의의 타임아웃 값을 대입하지 않았다. 또한 RTT 행 누락 7건을 패킷 손실이나 ACK 실패로 재분류하지 않았다.
원시 로그의 명시적 RTT 실패는 시퀀스 40, 41, 43 및 44에서 연속적으로 나타났으며, 프레임 오류는 로그의 여러 위치에서 관찰되었다. 시험 당시 강우가 시작되었다는 현장 메모가 있으나 정량적인 기상 정보와 RSSI를 측정하지 않아 오류 원인을 신호 감쇠, 순간 간섭 또는 기상 요인으로 특정할 수 없었다. 이후 70 m 조건에서 이벤트 수신이 50/50으로 나타났지만, 거리별 시험이 조건별 단일 연속 세트로 수행되었으므로 이를 거리 증가에 따른 일반적인 성능 변화로 해석하지 않았다. RF 50 m 로그는 사전에 정한 분석 대상 선정 원칙에 따라 제외하지 않고 전체 집계에 포함하였다.
실내 1 m 시험은 거리 증가와 야외 환경의 영향을 줄인 단거리 조건에서 두 구현 경로의 기본 이벤트 전달과 RTT 분포를 비교하기 위해 수행하였다. 두 구성 모두 50/50 이벤트를 수신하고 실제 진동을 출력했으며 오류와 중복은 없었다. RTT 중앙값은 HC-12 RF 126.206 ms와 ESP-01 Wi-Fi 234.757 ms, 지터는 1.989 ms와 174.531 ms였다. ESP-01의 긴 지연 꼬리는 패킷 손실 없이도 관찰됐으나 원인을 특정하지 않았다. 결과는 표 10에 제시하였다.
4.3 70 m 전자휘슬 통합 시험
70 m 통합 시험의 사전 계획 시험에서 Wi-Fi는 20회 모두, RF는 20회 중 19회에서 휘슬 이벤트가 검출되었다. RF는 추가 시도 허용 범위에서 SHORT와 LONG 각 10건의 분석 세트를 구성하였다. 각 링크의 분석 세트에서 분류 출력은 1.00 s 지속 시간 규칙과 모두 일치하였고(각 20/20), 수신 이벤트 전부에서 PB0 명령과 실제 모터 진동이 확인되었다(각 20/20). 70 m 통합 시험의 검출, 분류, 무선 전달 및 진동 출력 결과는 표 11에 정리하였다. 검출률은 사전 계획 시험 20회 전체를 기준으로 산출했으며, RF 분석 세트는 추가 시도 상한 내에서 검출된 이벤트로 구성하였다.
4.4 데이터시트 기반 예상 소비 전력
분당 5회, SHORT/LONG 1:1에서 예상 평균 소비 전력은 HC-12 RF 269.5 mW와 ESP-01 Wi-Fi 1,013.6 mW로, HC-12가 744.1 mW(73.4%) 낮게 산정되었다. 차이는 대표 동작 전류 가정에서 발생했으며 HC-12 P4의 추가 절감은 반영하지 않았다. 결과는 표 12에 제시하였다.
Ⅴ. 논 의
5.1 규칙 기반 휘슬 검출 및 지속 시간 분류
3.3-3.8 kHz 관심 대역과 onset/offset 조건을 결합한 규칙 기반 검출기에서 SHORT와 LONG 사이에 736 ms의 분리 구간이 나타나 1.00 s 운용 경계를 적용할 수 있었다. 이 분류는 스포츠 규칙의 공식 휘슬 유형이 아니라 서로 다른 두 촉각 명령을 생성하기 위한 정의이다.
93/93 내부 규칙 일치는 동일 입력 집합에서 저장 PCM 분석과 STM32 구현의 판정 정합성을 확인한 결과이다. 임계값 설정과 확인에 같은 데이터를 사용했으므로 독립 검증이나 다양한 휘슬·환경에 대한 일반화 성능으로 해석할 수 없다. 상용 제품 사양에서도 스포츠용 Patrick 전자휘슬은 4 kHz, 실외 비상용 NITECORE NWE10은 3.3 kHz를 제시하고 있어 제품별 발음 주파수가 다를 수 있다[45][46]. 이 비교는 본 연구 대역의 타 제품 적용성을 검증한 것이 아니라, 3.3-3.8 kHz가 시험 장치에 종속된 설정임을 보여주는 참고 사례이다.
두 방법은 동일한 판정 결과를 보였고 모두 16 ms 마감시간을 충족하여 실시간 처리 가능성을 확인하였다. 이에 본 구현은 마감시간 충족을 전제로 작업 메모리와 동시 상주 버퍼의 여유를 최종 선택 기준으로 두고 Goertzel을 유지하였다. FFT는 스펙트럼 연산에서 약 4.17배, 전체 특징 추출에서 67.9% 빨랐지만, Goertzel도 6.212 ms의 처리 여유를 확보했고 작업 RAM 추정값은 94.3% 적었다. 다만 전체 RAM 사용량은 61.7%와 65.0%로 차이가 3.3%p에 그쳐 Goertzel이 필수적인 제약 조건은 아니었다. 따라서 이는 두 알고리즘이 모두 실시간 조건을 만족한 상황에서의 구현 선택이며 알고리즘 일반의 우열을 의미하지 않는다.
5.2 HC-12 RF 구성과 ESP-01 Wi-Fi 비교 구성의 이벤트 전달 특성
HC-12 RF 구성은 ESP-01 Wi-Fi 구성의 100%와 근접한 99.6% 수신율을 유지했으며, 성공 ACK 표본의 RTT 중앙값과 P95-P50 지터는 각각 43.6%와 98.2% 낮았다. 수신된 모든 이벤트에서 페이로드와 실제 진동이 일치하여, 본 구현 조건에서는 전달 신뢰성을 크게 희생하지 않고 더 낮고 안정적인 ACK 응답이 관찰되었다.
두 구성은 동일한 NUCLEO-F411RE 제어부, UART 9600 bit/s, 이벤트 payload, 모터 명령, 전송 간격 및 ACK 타임아웃을 사용하였다. 반면 HC-12는 투명 UART 전달을 사용하고 ESP-01은 EVT와 ACK마다 AT 명령과 UDP 절차를 거치므로, 통신 모듈의 내부 처리 구조와 네트워크 스택은 동일하게 통제되지 않았다. 또한 단계별 지연, RSSI, 안테나 특성 및 정량 기상을 분리 계측하지 않았다. 따라서 관찰된 RTT 차이는 본 연구에서 구현한 전체 통신 경로의 결과로 해석해야 하며, 특정 처리 단계나 무선 물리계층의 일반적 우열로 귀속할 수 없다.
본 RTT도 ACK 구현 경로 지표이지 촉각 종단 간 지연이 아니다. RF 50 m에서 관찰된 손실·오류는 70 m에서 반복되지 않았으나, 거리별 조건을 각각 50회의 단일 연속 세트로 측정하여 재현성과 거리 의존성을 판단할 수 없다. RSSI와 정량 기상을 기록하지 않았으므로 원인도 특정하지 않았다.
5.3 70 m 통합 시험과 실제 촉각 출력
70 m 통합 시험을 통해 전자휘슬 입력부터 휘슬 검출, 지속 시간 분류, 무선 전달 및 실제 진동 출력까지의 기능적 처리 경로가 동작함을 확인하였다. RF의 사전 계획 시험에서는 20회 중 1회의 미검출이 발생하였으며, 분석 세트에서는 두 링크 모두 지속 시간 규칙 일치와 실제 모터 진동이 각각 20/20으로 확인되었다. 분석 세트는 검출된 이벤트의 후단 처리 확인을 위한 것이므로 검출 신뢰도의 근거로는 사용하지 않았다.
5.4 예상 소비 전력의 설계적 의미
데이터시트 기반 예상 평균 소비 전력은 HC-12 RF가 ESP-01 Wi-Fi보다 73.4% 낮게 산정되었다. 이는 대표 전류와 사용 시나리오에 따른 값이며 동일 조건의 실측값은 아니다.
5.5 연구의 한계 및 향후 과제
본 연구는 단일 종류의 전자휘슬과 INMP441 마이크, 10-50 cm 근접 수음 조건 및 임계값 설정에 사용한 93개 데이터에 한정된다. 동일한 데이터로 임계값을 설정하고 내부 규칙 일치를 확인했으므로 독립 시험 데이터에 대한 일반화 성능으로 해석할 수 없다. 또한 관중 소음, 선수 음성, 충돌음, 다양한 휘슬, 마이크 배치 및 잔향을 체계적으로 포함하지 않았다. 1-70 m 자동 통신 시험은 거리 조건별 50회의 단일 연속 세트로 수행했고 RSSI, 정량 기상 및 안테나 조건을 통제하지 않아 50 m 변동의 재현성과 원인을 판단할 수 없다. 따라서 결과는 HC-12 FU3/P4/C001과 ESP-01 로컬 Wi-Fi/UDP 구현 조건에 한정되며 RF와 Wi-Fi 일반의 우열로 확대할 수 없다.
진동 개시, 강도 및 지속 시간은 센서로 측정하지 않았고, ACK RTT는 이벤트 송신부터 ACK 수신까지의 구현 경로 지표로 PCM onset부터 실제 진동 개시까지의 촉각 종단 간 지연이 아니다. 소비 전력은 데이터시트 대표값과 가정한 사용 시나리오에 근거한 예상값으로 실제 전류와 에너지를 측정하지 않았다. Goertzel-FFT 처리 시간은 고정 합성 프레임, 16 MHz, Release(-Os) 및 인터럽트 비활성 조건에서 측정한 특징 추출 시간이며 장시간 전체 시스템의 오버런과 스트리밍 동작을 검증하지 않았다. RAM 사용량도 빌드 산출물에 근거한 추정값이므로 다른 MCU와 최적화 조건에서는 달라질 수 있다.
후속 연구에서는 관중 소음, 선수 음성, 충돌음, 다양한 휘슬, 마이크 배치 및 잔향을 포함한 독립 시험 데이터셋을 구축하여 일반화 성능을 평가해야 한다. 거리별 독립 반복 세트에서는 RSSI, 기상 및 안테나 조건을 함께 기록하고, 검출률·오검출률, 패킷 수신율 및 ACK RTT 등 주요 지표의 신뢰구간을 산출한 뒤 자료 분포와 반복 구조에 적합한 통계적 검정으로 조건 간 차이를 평가해야 한다. 또한 공통 시간 기준으로 PCM onset부터 실제 진동 개시까지를 직접 계측하고, UART 시리얼 전달, AT 명령어 처리 및 실제 무선 구간의 단계별 지연을 분리하여 측정해야 한다. 이후 동일 전원 조건에서 소비 전력을 실측하고, 실제 또는 재현 경기 환경에서 청각장애 선수를 대상으로 SHORT/LONG 진동 패턴의 인지성, 혼동률, 착용 편의성 및 경기 중 반응 시간을 평가해야 한다.
Ⅵ. 결 론
본 연구는 전자휘슬 음향을 STM32에서 검출하고 지속 시간에 따라 SHORT/LONG으로 분류한 뒤, HC-12 433 MHz RF를 통해 원격 진동 장치로 전달하는 통합 처리 경로를 구현하였다. 임계값 설정에 사용한 93개 데이터에서는 설정 규칙의 내부 일치를 확인하였고, 6,627개 프레임에서는 Goertzel과 FFT의 판정이 일치하였다. 이 결과는 독립 시험 정확도나 미수집 환경에 대한 일반화 성능을 의미하지 않는다. 두 알고리즘은 모두 16 ms 처리 마감시간을 충족했으며, FFT는 처리 시간, Goertzel은 작업 RAM 측면에서 유리했다. 본 구현에서는 이러한 절충을 고려하여 Goertzel을 최종 검출기에 적용하였다.
야외 1-70 m 시험에서 HC-12 RF의 패킷 수신율은 99.6%로 ESP-01 Wi-Fi의 100%와 근접했으며, 성공 ACK RTT와 지터는 HC-12 RF 구성에서 더 낮게 나타났다. 이는 본 연구에서 구현한 HC-12와 ESP-01의 전체 통신 경로에 대한 결과로, 무선 물리계층의 일반적 우열이나 촉각 종단 간 지연을 의미하지 않는다. 데이터시트 기반 예상 평균 소비 전력은 HC-12 RF 269.5 mW와 ESP-01 Wi-Fi 1,013.6 mW로 산정되어 HC-12 RF가 73.4% 낮았으나, 동일 조건에서 직접 측정한 값은 아니다. 또한 70 m에서 전자휘슬 입력부터 수신부 모터 구동과 진동 발생까지의 기능적 처리 경로를 확인함으로써 별도의 촉각 채널을 통한 경기 신호 전달 가능성을 제시하였다. 다만 실제 경기 참여 지원 효과는 사용자 평가를 통해 검증해야 한다. 향후에는 독립·다환경 데이터셋과 거리별 반복 시험을 통해 일반화 성능과 통신 변동성을 평가하고, RSSI, PCM onset부터 진동 개시까지의 종단 간 지연, 통신 단계별 지연 및 동일 전원 조건의 소비 전력을 직접 측정해야 한다. 이후 청각장애 선수를 대상으로 진동 패턴의 인지성, 혼동률, 착용 편의성 및 경기 중 반응 시간을 평가할 필요가 있다.
Acknowledgments
본 연구는 4단계 BK21 사업과 과학기술정보통신부 및 정보통신기획평가원의 AI최고급신진연구자지원(AI스타펠로우십지원) 사업의 지원을 받아 수행된 연구 결과임 (IITP-2026-RS-2026-25615334)
References
- The International Football Association Board, "Body language, communication and whistle", Laws of the Game 2025/26, https://www.theifab.com/laws/latest/guidelines/body-language-communication-and-whistle/, . [accessed: Aug. 12, 2026]
- World Rugby, "Law 6: Match officials", Laws of the Game, https://passport.world.rugby/laws-of-the-game/laws-by-number/6-match-officials/, . [accessed: Aug. 12, 2026]
- International Basketball Federation, Official Basketball Rules 2024, Mies, Switzerland: FIBA, 2024, https://assets.fiba.basketball/image/upload/documents-corporate-fiba-official-rules-2024-v10a.pdf, . [accessed: Aug. 12, 2026]
-
M. Atherton, D. Russell, and G. H. Turner, "More than a Match: The Role of Football in Britain's Deaf Community", Soccer & Society, Vol. 2, No. 3, pp. 22-43, 2001.
[https://doi.org/10.1080/714004857]
- M. Sultana, "Development of a Waterproof, Alert Device for Hearing Impaired Water Polo Player", Bachelor's dissertation, University of Malta, 2019. https://www.um.edu.mt/library/oar/handle/123456789/72702, . [accessed: Aug. 12, 2026]
-
D. A. R. Molina and M. J. M. Zapata, "Enhancing Deaf Athletes' Performance: Vibrating Wristband for Referee Whistle Detection on Recreational Sports Using Wi-Fi", Journal of Biomimetics, Biomaterials and Biomedical Engineering, Vol. 66, pp. 27-35, Sep. 2024.
[https://doi.org/10.4028/p-Lb2PuE]
- S. Goff, "Deaf Soccer Player Tackles Pro Challenge: Eby Earns Spot on Real Maryland", The Washington Post, Apr. 2008. https://www.washingtonpost.com/archive/sports/2008/04/19/deaf-soccer-player-tackles-pro-challenge/502293de-1d6f-47f7-92fe-4a02980a355b/, . [accessed: Aug. 12, 2026]
- D. O'Neil, "Michael Lizarraga inspires 14-year-old", ESPN, Feb. 2011. https://www.espn.com/mens-college-basketball/columns/story?columnist=oneil_dana&id=6125964, . [accessed: Aug. 12, 2026]
- D. Chisnall, "Elite rugby player Jodie Ounsley proves being profoundly deaf will not hold her back from her sport", ITV News Granada, Dec. 2021. https://www.itv.com/news/granada/2021-12-09/meet-the-deaf-rugby-player-defying-her-disability-to-reach-the-top-of-her-sport-for-sale-sharks-and-england, . [accessed: Aug. 12, 2026]
- S. Burt, "Profoundly deaf Queensland athlete becomes first ever to use groundbreaking new technology", 7NEWS, Apr. 2023. https://7news.com.au/sport/afl/profoundly-deaf-queensland-athlete-becomes-first-ever-to-use-groundbreaking-new-technology-a-very-real-game-changer--c-10470288, . [accessed: Aug. 12, 2026]
- The International Football Association Board, "Law 12: Fouls and Misconduct", Laws of the Game 2025/26, https://www.theifab.com/laws/latest/fouls-and-misconduct/, . [accessed: Aug. 12, 2026]
- Fédération Internationale de Football Association, FIFA Disciplinary Code: 2026 Edition, Zurich, Switzerland: FIFA, 2026. https://digitalhub.fifa.com/asset/5bd452de-0dd6-4342-93d4-53122ccb75b9/FIFA-Disciplinary-Code-2026.pdf, . [accessed: Aug. 12, 2026]
- World Rugby, "10 things deaf rugby players want you to know about their sport", Sep. 2020. https://www.world.rugby/news/587042/10-choses-rugby-sourds-malentendants, . [accessed: Aug. 12, 2026]
- World Rugby, "Law 9: Foul play", Laws of the Game, https://passport.world.rugby/laws-of-the-game/laws-by-number/9-foul-play/, . [accessed: Aug. 12, 2026]
- International Committee of Sports for the Deaf, "Audiogram Regulations", ICSD, https://www.deaflympics.com/icsd/audiogram-regulations, . [accessed: Aug. 12, 2026]
- England Football, "Deaf Football", The Football Association, https://www.englandfootball.com/play/Disability-Football/Deaf-Football, . [accessed: Aug. 12, 2026]
- Japan Inclusive Football Federation, "Deaf Football / Deaf Futsal", JIFF, https://www.jiff.football/en/about/7groups/jdfa/, . [accessed: Aug. 12, 2026]
- Tokyo 2025 Deaflympics, "Football", Tokyo 2025 Deaflympics Games Information, https://www.tef.or.jp/en-deaflympics2025-games.jp/sports/football/, . [accessed: Aug. 12, 2026]
-
A. Markov-Glazer, A.-M. Elbe, and R. Schliermann, "From their eyes: Deaflympic athletes' and coaches' perspectives on mental training", Frontiers in Sports and Active Living, Vol. 7, Art. no. 1613833, Jun. 2025.
[https://doi.org/10.3389/fspor.2025.1613833]
-
E. R. Steele, G. P. Lawrence, M. A. Khan, E. S. Jones, E. A. Purbrick, and V. M. Gottwald, "It's not Fair!: Multisensory reaction time differences between D/deaf and hearing populations in athletics starting systems", Psychology of Sport & Exercise, Vol. 83, Art. no. 103038, Mar. 2026.
[https://doi.org/10.1016/j.psychsport.2025.103038]
- T. Saitoh and Y. Nitta, "An Overview of the Present Conditions and Problems of Deaf Basketball", Seisa University Research Bulletin, No. 11, pp. 110-119, 2015.
-
A. Guerra, "Defying the Odds: Hearing Care for Young Athletes with Hearing Loss", The Hearing Journal, Vol. 72, No. 11, pp. 8-9, Nov. 2019.
[https://doi.org/10.1097/01.HJ.0000612560.58619.5e]
-
A. Shitara, M. Namatame, S. Sarcar, Y. Ochiai, and Y. Shiraishi, "HaptStarter: Designing haptic stimulus start system for deaf and hard of hearing sprinters", International Journal of Human-Computer Studies, Vol. 182, Art. no. 103168, Feb. 2024.
[https://doi.org/10.1016/j.ijhcs.2023.103168]
-
D. S. Elvitigala, D. Wessolek, A. V. Achenbach, C. Singhabahu, and S. Nanayakkara, "SwimSight: Supporting deaf users to participate in swimming games", 28th Australian Conference on Computer-Human Interaction, Launceston, Tasmania, Australia, pp. 567-570, Nov.-Dec. 2016.
[https://doi.org/10.1145/3010915.3010969]
-
S. Huffman, R. Angelini, R. Kushalnagar, and K. Spiel, "It only needs to work for one of us: Rethinking DIY Deaf Tech Through Situated Co-Design", 27th International ACM SIGACCESS Conference on Computers and Accessibility, Denver, Colorado, USA, pp. 1-7, Oct. 2025.
[https://doi.org/10.1145/3663547.3749828]
-
P. Carrington, G. Laput, and J. P. Bigham, "SpokeSense: Developing a real-time sensing platform for wheelchair sports", ACM SIGACCESS Accessibility and Computing, No. 124, Art. no. 2, Mar. 2020.
[https://doi.org/10.1145/3386308.3386310]
- C. Houinato, V Sports: An Even Ground for Deaf Athletes, Program of Industrial Design Capstones, Paper 6, Thomas Jefferson University, 2017. https://jdc.jefferson.edu/idcapstones/6/, . [accessed: Sep. 3, 2026]
-
M. S. Baldwin, S. H. Hirano, J. Mankoff, and G. R. Hayes, "Design in the Public Square: Supporting Assistive Technology Design Through Public Mixed-Ability Cooperation", Proc. of the ACM on Human-Computer Interaction, Austin, Texas, USA, Vol. 3, No. CSCW, pp. 1-22, Nov. 2019.
[https://doi.org/10.1145/3359257]
-
E. van Breda, S. Verwulgen, W. Saeys, K. Wuyts, T. Peeters, and S. Truijen, "Vibrotactile feedback as a tool to improve motor learning and sports performance: a systematic review", BMJ Open Sport & Exercise Medicine, Vol. 3, No. 1, Art. no. e000216, 2017.
[https://doi.org/10.1136/bmjsem-2016-000216]
- C. Chen, K. Duvvuri, E. Sanjay, Z. Xie, V. Vijay, and Z. Gao, "Communication system for athletes or hearing-impaired users", U.S. Patent 12,521,618, Jan. 13, 2026.
-
G. Goertzel, "An Algorithm for the Evaluation of Finite Trigonometric Series", The American Mathematical Monthly, Vol. 65, No. 1, pp. 34-35, Jan. 1958.
[https://doi.org/10.2307/2310304]
- World Rugby, "The whistle", World Rugby Passport, https://passport.world.rugby/officiating/match-observation-programme/role-of-match-officials/the-whistle/, . [accessed: Aug. 12, 2026]
- United States Coast Guard, Navigation Rules: International and U.S. Inland, Rule 32: Definitions, https://navcen.uscg.gov/navigation-rules-amalgamated, . [accessed: Aug. 12, 2026]
- 33 CFR § 83.32, "Definitions (Rule 32)", Electronic Code of Federal Regulations, https://www.law.cornell.edu/cfr/text/33/83.32, . [accessed: Aug. 12, 2026]
-
T. W. Jerome, W. J. Murphy, and G. A. Flamme, "Referee whistles Part I-Permissible exposures indoors", The Journal of the Acoustical Society of America, Vol. 145, No. 3, Art. no. 1815, Mar. 2019.
[https://doi.org/10.1121/1.5101635]
- Molten, "Electronic Whistle RA0020", product specification, https://shop.moltensports.jp/products/ra0020, . [accessed: Aug. 12, 2026]
- Arm Limited, "Real FFT F32 Functions", CMSIS-DSP, https://arm-software.github.io/CMSIS-DSP/main/group__RealFFTF32.html, . [accessed: Aug. 16, 2026]
- STMicroelectronics, STM32 Nucleo-64 Boards (MB1136), UM1724, Rev. 17, 2025. https://www.st.com/resource/en/user_manual/um1724-.pdf, . [accessed: Aug. 14, 2026]
- STMicroelectronics, STM32F411xC/STM32F411xE Datasheet, DS10314, Rev. 8, 2025. https://www.st.com/resource/en/datasheet/stm32f411re.pdf, . [accessed: Aug. 14, 2026]
- TDK InvenSense, INMP441 Omnidirectional Microphone with Bottom Port and I2S Digital Output, Datasheet, Rev. 1.1, https://product.tdk.com/system/files/dam/doc/product/sw_piezo/mic/mems-mic/data_sheet/inmp441.pdf, . [accessed: Aug. 14, 2026]
- HC01, HC-12 Wireless RF UART Communication Module V2.6 User Manual, https://www.hc01.com/downloads/HC-12%20english%20datasheets.pdf, . [accessed: Aug. 14, 2026]
- Espressif Systems, ESP8266EX Datasheet, 2023. https://espressif.com/sites/default/files/documentation/0a-esp8266ex_datasheet_en.pdf, . [accessed: Aug. 14, 2026]
- STMicroelectronics, MB1136-DEFAULT-C03 Board Schematic, Rev. C03, 2018. https://www.st.com/resource/en/schematic_pack/mb1136-default-c03_schematic.pdf, . [accessed: Aug. 14, 2026]
- STMicroelectronics, LD39050 500 mA Low-Quiescent-Current Voltage Regulator, Datasheet, https://www.st.com/en/power-management/ld39050.html, . [accessed: Aug. 14, 2026]
- HLSports, "Electronic Whistle (Patrick, Product Code 79E)", product specification, https://www.hlsports.com.au/index.php?route=product/product&product_id=1483, . [accessed: Sep. 2, 2026]
- NITECORE, "NWE10 Electronic Outdoor Whistle", product specification, https://www.nitecore.com/product/nwe10, . [accessed: Sep. 2, 2026]
2024년 2월 : 울산대학교 전기공학부 의공학전공(공학사)
2025년 3월 ~ 현재 : 성균관대학교 전자전기컴퓨터공학과 석사과정
관심분야 : Embedded System, IoT Connected Biometric and Environmental Monitoring Applications
2026년 2월 : 아주대학교 전자공학과(공학사)
2026년 3월 ~ 현재 : 성균관대학교 전자전기컴퓨터공학과 석사과정
관심분야 : Embedded System, Signal Processing
2009년 2월 : KAIST 전기 및 전자공학과(공학박사)
2024년 3월 ~ 현재 : 성균관대학교 전자전기공학부 부교수
관심분야 : Biomedical Signal Processing, Medical Instrumentation, On-Device AI




