한국어 음성 명료도를 이용한 커스텀 디지털 보청기의 피팅 알고리즘에 관한 연구

Ⅰ. 서 론

고령인구가 점차 증가함에 따라 노인성 난청 환자들의 수가 점점 증가하고 있다. 청력 손실을 입은 난청 환자에게 보다 쾌적한 음을 제공하기 위한 보청기 개발도 활발히 진행되고 있다[1][2]. 일반적으로 보청기는 입력 신호를 증폭하여 난청 환자의 높아진 청력역치(Hearing threshold)를 보상시켜 주고 증폭된 소리를 압축(Compression)하여 난청인의 좁아진 청력범위로 소리를 피팅(Fitting)하는 역할을 하고 있다[3].

보청기를 피팅하는 원리는 증폭된 소리가 난청 환자에게 편안하게 들려야 하고, 또한 대화 시, 명료도가 높아져야 한다. 이 경우, 증폭된 소리의 크기가 불쾌역치(UCL, Uncomfortable level)를 넘지 않도록 조정하여 보청기 착용으로 인한 난청 환자의 청력이 손상되지 말아야 한다[3][4]. 따라서 난청 환자 개개인의 청력 손실 정도에 따라 손실 유형이 다르기 때문에 이에 맞추어 적절하게 이득을 부여하는 것이 매우 중요하다. 그렇기 때문에 지금까지 디지털 보청기에는 여러 가지 피팅 알고리즘들이 제안되어 사용되고 있다[4]-[6].

현재까지 제안된 피팅 알고리즘들의 특징은 전체 음압을 정규화(Normalization)하여 증폭된 소리가 좀 더 부드러우면서 크게 전달하는 것을 주목적으로 하고 있다[1,3]. 그 중에서도 특히 주위 환경의 소리 강도와 난청 환자가 받아들이는 소리의 강도의 관계를 이용하여 만들어진 IHAFF(Independent Hearing aid Fitting Formula), half-gain rule 알고리즘이 있고, 이 알고리즘과 유사한 이론적 목표로 만들어진 POGO(Prescription Of Gain Output) 알고리즘과 음압을 기반으로 한 DSL[i/o](Desired Sensation Level), FIG6 등이 대표적인 알고리즘이다[6].

또한, 소리를 들을 때, 명료하게 들을 수 있도록 음성의 명료도에 주안점을 둔 NAL(National Acoustic Laboratory) 알고리즘이 개발되었다[4]. 그 후 NAL 알고리즘에 half-gain rule 및 1/3 기울기 비율을 적용한 NAL-R(NAL-Revised)이란 알고리즘도 제안되었다. 더욱이 심도 난청 환자에게 적용할 수 있는 비선형 피팅 공식인 NAL-RP(NAL-R, Profound)알고리즘도 개발되었다. NAL-RP 알고리즘을 보완하여 음성 명료도가 극대화되도록 청력 손실을 보상시켜주는 비선형 NAL-NL1(NAL-nonlinear, version 1) 알고리즘이 제안되었다[4][7]. 이 알고리즘은 명료도를 높이기 위하여 영어의 음성 명료도 지수(SII, Speech Intelligibility Index)[8]를 이용하여 객관적인 물리량을 지표로 삼아 도출하였다. 그 후, 최신 SII을 적용시키고, 가청 가능한 어음 정보를 축출하는 등의 여러 가지 방법을 적용시킨 NAL-NL2(Version 2)를 발표하였다[9].

그러나 이 NAL-NL2 알고리즘은 영어를 사용하는 사람들을 주 대상으로 삼아, 영어의 어음 명료도를 기준으로 피팅 알고리즘을 유도하였기 때문에 한국어를 사용하고 있는 우리나라 난청 환자들에게 이 알고리즘을 그대로 적용하는 것은 부적절하다고 생각된다[10][11]. 비록 영어의 자음/모음과 유사한 자음/모음이 우리나라 국어에도 있으나, 영어에는 있고, 한국어에는 존재하지 않는 자음/모음이 있으므로 기존의 알고리즘을 그대로 우리나라 난청 환자에게 적용하는 것은 많은 문제점을 야기한다.

따라서 본 연구에서는 기존의 방법인 NAL-NL2 알고리즘을 기반으로 우리나라 난청 환자들에게 더 나은 보청기 사용 환경을 제공하기 위하여 영어의 어음 명료도 대신, 한국어 음성 명료 특성[11][12]을 적용시켜, 삽입 이득을 산출할 수 있는 수정된 NAL-NL2(RNAL-NL2, revised) 알고리즘을 제안하고, 그 유용성을 확인하고자 한다.

Ⅱ. 기존의 피팅 알고리즘

이 장에서는 현재 우리나라 보청기 회사에서 피팅 알고리즘으로 많이 사용되고 있는 두 가지 알고리즘에 관하여 논하고자 한다.

2.1 FIG6 알고리즘

FIG6 알고리즘[4]은 소리의 크기를 작은 소리(50dB SPL), 중간 소리(65dB SPL), 큰 소리(80dB SPL)로 나누고, 표 1에 보인 것과 같이 소리의 크기에 따라 삽입 이득을 주파수 반응 곡선에 적용시킨 다음, 이들 세 종류의 소리는 다시 2~3 종류의 청력역치로 구분하여 삽입이득(Insertion gain)을 결정하는 방법이다.

Table 1.

FIG6 algorithm

2.2 NAL 알고리즘

초기 개발된 NAL 알고리즘은 전주파수 대역에 동일하게 이득을 부여하는 Half Gain 알고리즘과 달리, 실제 난청 환자들이 삽입 이득이 0.5dB보다 0.46dB일 때를 더 선호하고 있고, 또한 영어의 장시간 평균어음스펙트럼(LTASS, Long Term Average Speech Spectrum)을 고려하여 각 주파수별로 보정 처리를 수행하는 방법이다[4].

2.2.1 NAL-R과 NAL-RP 알고리즘

Byrne와 Dillon[4]은 난청 환자의 청력 손실을 재활시킬 때, NAL 알고리즘이 일반 난청 환자들에게 유용하였으나, 고음 급추형(Steeply sloping loss) 환자는 고음의 과도한 증폭으로 인하여 불편을 호소하고 있음을 파악하고, 난청 환자에게 주파수 대역별 최적 이득은 표 2에 제시한 것과 같이, 청력역치에 0.46이 아닌 0.31을 적용하는 것이 좋다고 발표하였다. 이것을 적용한 것이 NAL-R 알고리즘이다.

Table 2.

NAL-R algorithm

이 NAL-R 알고리즘은 난청 환자의 청력 손실의 정도에 따라, 실제 삽입이득을 동일하게 표 2를 적용하고 있다. 그러나 고도와 심도의 감각 신경성 난청 환자들이 선호하는 삽입이득이 각각 다르기 때문에 이를 보완한 NAL-RP 알고리즘을 제안하였다. 이 알고리즘에서는 고도 이상의 청력손실을 입은 난청 환자에게 저음 성분은 좀 더 높게 하고, 또한 에코가 발생되지 않도록 고음의 이득을 다소 낮춰주는 방법을 채택하고 있다.

2.2.2 NAL-NL1과 NAL-NL2 알고리즘

NAL-R과 NAL-RP 알고리즘을 비선형 방식으로 개선한 NAL-NL1 알고리즘[9]은 각 주파수별로 선형적으로 이득을 부여하지 않고, 어음의 명료도를 최대한으로 높이기 위하여 어음에 관련성이 높은 주파수 대역에 각기 다른 이득을 건청인이 지각하는 음량 수준보다 크지 않도록 부여하는 방식이다. 즉, 어음에 들어있는 저음 성분의 이득을 높여주면, 어음의 음량이 전반적으로 높아지나, 저음 성분이 고음을 차폐하여 어음명료도가 감소될 수 있다. 그러나 고도 이상의 난청을 가진 환자는 건청인이 지각하는 음량 수준보다 더 음량을 높여주는 경우가 발생하고 있다. 그 원인은 어음의 명료도를 높이는 데 있어서 다른 원인들도 함께 공존하기 때문이다.

따라서 NAL-NL1 알고리즘은 각 입력 크기에 따라 어음의 명료도를 최대로 높이기 위해 SII를 이용하고, 또한 정상적인 음량 수준을 산출하기 위하여 국제장시간평균음성스펙트럼을 이용하여 이득 값을 비선형적으로 부여하고 있다.

NAL-NL1 알고리즘을 개선시킨 NAL-NL2 알고리즘은 125~8,000Hz까지 1/3옥타브밴드 별로 삽입 이득을 결정하고 있다[9]. 이때, 각 주파수 대역별 이득은 해당하는 주파수 대역만이 아니라 다른 주파수대역에서의 청력역치들도 모두 고려하여 결정하고 있다. NAL-NL2 알고리즘과 NAL-NL1 알고리즘의 차이점은 다음과 같다.

• 최신의 SII를 사용한다.
• 여자보다 남자에게 약간 고 이득을 제공한다.
• 처음 보청기를 사용하는 환자에게 보청기를 계속 사용한 환자보다 약간 저 이득을 제공한다.
• 고도 이상 난청 환자에게 작은 소리나 큰 소리에 대한 이득이 최적이 되도록 압축 비율을 지나치게 높이지 않는다.
• 아동 환자의 이득은 성인의 보통 소리의 이득보다 5dB 높게 조정한다.
• 한쪽만 착용하는 환자보다 양쪽 모두를 착용은 환자에게는 약간 낮게 처방한다.

Ⅲ. 제안하는 피팅 알고리즘

3.1 한국어 음성 명료도

건강한 청력을 가진 사람이 대화 도중에 대화 내용을 이해하기 어려울 때에는 전달되는 대화의 내용 안에서 청각적 또는 문법적 언어학적으로 이해하기 위한 노력을 하고 있다. 이러한 시각에서 말소리 변별력은 청각적 요소와 함께 인지적 요인이 함께 요구된다고 할 수 있으며, 어음명료도 또한 말소리 변별력에 기초한다고 할 수 있다[10]. 말소리를 이해하고 발성하기 위해서는 선행 조건으로 화자의 어음 명료도가 우선되며, 청자는 어음명료도에 기초하여 어음변별력을 가지게 된다는 것이다. 따라서 청각적으로 말소리를 변별하는 능력을 포함한 어음명료도는 일상생활의 대화에서 상관성을 가지므로 청각적 요인과 언어 음성적 특징은 동일시된다. 그러므로 어음 명료도를 향상시키기 위해서는 각 나라의 언어에 적합한 규칙을 발견하여 이것을 이용하는 것이 최상의 방법이라 생각된다.

표 3에 한국어 음성 명료도와 주파수와의 관계를 제시하였다. 이 표를 보면, 우리나라 사람의 회화의 주파수 영역은 100 ~ 8000Hz에 분포되어 있으나, 일반적으로 많이 사용되는 주요 회화 영역은 300 ~ 3000Hz이고, 500 ~ 4000Hz 부분이 어음 명료도의 83%를 차지하고 있다는 것을 알 수 있다. 정상적인 청력을 가진 사람은 약 500 ~ 4,000Hz 부분에서 가장 민감하게 작용하고 있으므로, 이 부분에 청력 장애가 발생하였을 경우에는 소리가 다소 들린다 하더라도 어음 변별력이 떨어지게 마련이다.

Table 3.

Speech articulation by frequency band

따라서 한국어 음성 명료도를 높이기 위해서는 각 주파수 대역별로 명료 지수 0.05, 0.35, 0.35, 0.13, 0.12를 부여하여 처리를 하는 것이 타당하다고 생각된다. 즉, 표 2에서 삽입 이득을 결정할 때, 각 주파수 대역별 동일한 값으로 주어지는 웨이팅 값인 0.31을 표 3에 제시한 한국어 명료도 지수를 주파수 대역별로 다르게 부여하는 방식을 취하는 것이다.

3.2 수정된 NAL-NL2 알고리즘

본 연구에서는 커스텀 디지털 보청기를 사용하는 우리나라 난청 환자들에게 보다 명료도가 높은 보청기를 제공하기 위하여 위에서 논한 한국어 음성 명료도를 기존의 NAL-NL2 알고리즘에 탑재하는 수정된 피팅 알고리즘인 RNAL-NL2(revised NAL-NL2)를 제안한다. 제안하는 RNAL-NL2 알고리즘은 기존의 NAL-NL2 알고리즘에 사용되고 있는 영어의 명료도 SII 대신, 표 3에 제시한 한국어 음성 명료 특성을 사용하는 방식이다. 즉, 한국어는 영어보다 저주파수 대역에 에너지가 많은 특성을 가지고 있으므로 이를 적용하면, 우리나라 난청 환자들에게 좀더 높은 명료도가 얻어질 것이라 생각한다.

제안한 RNAL-NL2 알고리즘의 피팅 절차는 다음과 같다.

• 1. 난청 환자의 손실된 청력 손실 오디오그램을 입력한다.
• 2. 제안한 방법을 적용하여 삽입이득을 결정한다.
• 3. 난청 환자에게 가장 높은 명료도가 얻어질 수 있도록 주파수 대역별로 삽입 이득을 미세 조정한다.
• 4. NAL-NL2 알고리즘과 같은 방법으로 조건에 따라 삽입 이득을 재조정한다.

위에서 논한 피팅 절차 중, 세 번째 미세 조정 부분은 절차 두 번째 순서에서 구해진 삽입 이득을 기본으로 설정하고, 난청 환자의 특성 혹은 환자의 선호도에 따라 각 주파수 대역 별로, 0.1dB씩 위 아래로 미세 조정하여 삽입 이득을 산출한다.

마지막 네 번째 단계에서 기존의 NAL-NL2 알고리즘과 같은 방법으로 여성 난청 환자 보다 남성 난청 환자를 약간 높은 삽입 이득을 부여하거나 처음 보청기 사용하는 사람이나 혹은 한쪽 귀만 보청기를 사용하는 사람에게는 삽입 이득을 낮게 설정하는 등, 여러 가지 조건에 따라 최종적인 삽입 이득을 결정한다.

그림 1은 전 주파수 대역에서 50dB HL의 동일한 청력 손실이 있는 경우에 보상되는 기존 NAL-NL2 알고리즘과 FIG6 알고리즘, 본 논문에서 제안한 RNAL-NL2 알고리즘의 삽입 이득을 비교한 그래프이다.

Fig. 1.

Insertion gain of algorithms: FIG6(○), NAL-NL2(△), and RNAL-NL2(×)

그림 1을 보면, 영어와 한국어의 주파수 특성 다시 말하면, 제안한 RNAL-NL2 알고리즘은 기존의 NAL-NL2 알고리즘보다 삽입 이득이 2kHz 이하의 주파수 대역에서는 작게 분포되어 있고, 반대로 2kHz 이상에서는 증가되고 있는 현상을 볼 수 있다. 그 원인은 한국어가 영어에 비해 저주파수 부분에 에너지가 몰려있고, 반면 고주파 부분에서는 영어에 비해 된소리가 많은 한국어 특성 때문이라 생각된다.

또한 그림 2는 4kHz 주파수 대역에서 FIG6 알고리즘, NAL-NL2 알고리즘과 제안한 RNAL-NL2 알고리즘의 입력과 출력 레벨을 비교해놓은 그림이다. 이것을 보면, 3가지 피팅 알고리즘 모두 약간의 차이는 보이고 있으나, 고 레벨로 갈수록 유사한 패턴을 형성하고 있다. 더욱이 3가지 피팅 알고리즘 모두 음원의 최대 출력이 불쾌 역치를 넘지 않도록 압축되고 있음을 관찰할 수 있다.

Fig. 2.

Input-output level of algorithms: FIG6(○), NAL-NL2(△), and RNAL-NL2(×)

Ⅳ. 실험 및 결과 고찰

청취 실험은 기존의 방법 중, 본 연구의 토대가 되고 있는 NAL-NL2 알고리즘과 제안한 알고리즘을 노인 난청 환자를 대상으로 수행하였다.

4.1 실험 대상 및 방법

실험 대상은 충청북도에 거주하고 있는 60세 이상의 난청 환자 15명 노인(남자 6명(40%) 여자 9명(60%)으로 하였고, 실험 장소는 보청기 회사인 S사에서 소음이 차단된 피팅룸에서 헤드폰을 사용하여 실시하였다. 또한 실험에 참여한 피험자들의 연령별 분포는 전체 평균 연령은 75세(연령범위: 60~97세, 표준편차: 7.33)이었고, 이 중 남자의 평균 연령은 75.86세(연령범위 60~97세, 표준편차: 6.78), 여성의 평균 연령은 74.37세(연령범위 60~94, 표준편차: 7.57)로 남자의 평균 연령이 약간 높았다.

피험자들에게 제시한 음원은 보청기 회사인 S사에서 사용하고 있는 보청기 어음 명료도 평가에 사용되는 SRT(Speech Recognition Threshold) 2음절 어음 20개를 사용하였다. 또한 음원 부여 방식은 보청기 시뮬레이터를 통하여 먼저 기존의 NAL-NL2 알고리즘에 의해 피팅을 수행한 것을 헤드폰을 통하여 재생하여 들려주고, 그 다음 제안한 RNAL-NL2 알고리즘을 이용하여 피팅한 음을 줄려주는 방식을 채택하였다. 평가에 사용한 청능 성능 비교 평가표의 한 예를 그림 3에 제시하였다. 피험자들이 노인들이기 때문에 정확한 어음 평가는 수행하지 않고, 간이적인 평가만 수행하였다.

Fig. 3.

Example of hearing test

4.2 실험 결과 및 고찰

위에서 논한 청취 실험 방법에 따라 실험한 결과를 그림 4에 제시하였다. 이 그림에서 가로축은 입력 음압으로 작은 소리(50dB SPL), 중간 소리(65dB SPL), 큰 소리(80dB SPL)을 나타내고 있고, 세로축은 피험자 15명에 대한 응답 수를 나타내고 있다.

Fig. 4.

Experimental results by NAL-NL2, RNAL-NL2 algorithm

이 청취 실험 결과를 보면, 작은 소리의 경우, 두 알고리즘이 동일한 것 같다고 응답한 피험자 수가 가장 많았으나, 상대적으로 기존 알고리즘(NAL-NL2) 보다 제안한 알고리즘(RNAL-NL2)이 명료도가 좋다고 응답한 피험자가 많았다.

특히, 보청기 사용 빈도가 제일 높은 일반적인 대화 소리인 중간 소리의 경우에는 피험자 절반 이상이 제안한 알고리즘이 더 좋다고 하는 응답을 얻었고, 그 다음 동일하다, 기존의 알고리즘 순으로 청취 실험 결과가 얻어졌다. 이것을 보면, 보청기 사용 빈도가 제일 높은 중간소리에서 제안한 알고리즘이 기존의 알고리즘보다 더 명료도가 좋다고 응답하여 제안 알고리즘의 유용성이 입증된 것으로 판단된다. 마지막으로 큰소리의 경우에도, 제안한 알고리즘, 동일하다, 기존의 알고리즘 순으로 듣기 편하고 명료도가 높다고 피험자들이 응답하여 큰소리의 경우도 제안 알고리즘의 유용성이 입증되었다. 명료도 평가 이외로 질문한 사용 편의성은 비교 시, 동일하다가 거의 대부분이었다.

Ⅴ. 결 론

본 연구에서는 커스텀 디지털 보청기를 사용하는 우리나라 난청 환자들에게 보다 명료도가 높은 보청기를 제공하여 더 나은 청취 환경을 부여하기 위하여 한국어 음성 명료도를 탑재한 피팅 알고리즘인 RNAL-NL2를 제안하였다.

제안한 알고리즘의 유용성을 확인하기 위하여 기존의 알고리즘과 제안한 알고리즘의 청력 손실이 50dB HL에서의 주파수 대역별 삽입이득을 검토한 결과, 제안한 알고리즘이 한국어 특성이 삽입되어 저주파수 부분의 이득 값이 다소 낮았고, 중-고주파수 부분의 이득 값이 증가된 분포를 보였다.

또한, 입-출력 레벨을 비교한 결과, 3가지 알고리즘 모두 약간의 차이는 보이나, 높은 레벨로 갈수록 비슷한 패턴을 형성하고 있고, 최대 출력이 불쾌 역치를 넘지 않도록 압축되고 있음을 확인하였다.

마지막으로 청취 실험을 수행한 결과, 특히 보통 대화 시 제일 많이 사용되는 보통 소리의 경우, 제안한 알고리즘이 좋았다는 응답자 수가 50% 이상이 얻어졌으므로 제안한 알고리즘의 유용성을 확인할 수 있었다.

향후에는 제안한 알고리즘을 귀속형 커스텀 디지털 보청기에 직접 적용하여 그 유용성을 확인하고, 스마트폰으로 청력 검사 및 보청기 미세 조정이 가능한 방법에 관하여 연구하고자 한다.

Acknowledgments

이 논문은 2018~2020학년도에 청주대학교 산업과학연구소가 지원한 학술연구조성비(특별연구과제)에 의해 연구되었음

References

• L. Cornelisse, R. C. Seewald, and D. G. Jamieson, "The input/output formula: a theoretical approach to the fitting of personal amplification", The Journal of the Acoustical Society of America, Vol. 97, pp. 1854-1864, Mar. 1995 [https://doi.org/10.1121/1.412980]
• B. C. J. Moore, J. I. Alcantara, and B. R. Glasberg, "Development and evaluation of a procedure for fitting multichannel compression hearing aids", British Journal of Audiology, Vol. 32, No. 3, pp. 177-195, Jun. 1998 [https://doi.org/10.3109/03005364000000062]
• Mead C. Killion and Selda. Fikret-Pasa, "The 3 Types of sensorineural hearing loss : loudness and intelligibility considerations", Hearing Journal, Vol. 46, No. 11, pp. 31-36, Nov. 1993.
• D. Byrne, H. Dillon, T. Ching, R. Katsch, and G. Keidser, "NAL-NL1 Procedure for Fitting Nonlinear Hearing Aids: Characteristics and Comparisons with Other Procedures", Journal of the American Academy of Audiology, Vol. 12, No. 1, pp. 37-51, Feb. 2001.
• H. T. Oh, C. S. Han D. G. Yoo, and H. Y. Kim, "Fitting Program and Smart Device based Application for Custom Hearing Aid", Proceedings of KIIT Conference, Gumi, pp. 189-191, Jun. 2017.
• S. S. Jarng and Y. J. Kwon "Directional realization of in the ear hearing aid using digital filters", The Journal of the Acoustical Society of Korea, Vol. 36, No. 2, pp. 123-129, Mar. 2017. [https://doi.org/10.7776/ASK.2017.36.2.123]
• Y. Y. Jeon and S. M. Lee, "Low-Complexity Speech Enhancement Algorithm Based on IMCRA Algorithm for Hearing Aids", Journal of Rehabilitation Welfare Engineering & Assistive Technology, Vol. 11, No. 4, pp. 363-370, Nov. 2017.
• ANSI-S3.5-1997, "American National Standard: Methods for the calculation of the speech intelligibility index", American National Standards Institute, New York, 1997.
• G. Keidser, H. Dillon, M. Flax, T. Ching, and S. Brewer, "The NAL-NL2 Prescription Procedure", Audiology Research 2011, Vol. 1, No. 22, pp. 88-90. Mar. 2011. [https://doi.org/10.4081/audiores.2011.e24]
• J. H. Lee, "Standardization of the Speech Audiometry Method", A Report for Technical Development that is Standardization of the Speech Audiometry Method, pp. 177, 2008.
• S. W. Byun, "Frequencies of Korean Syllables and the Distribution of Syllables of PBWordList", Korean Journal of Otorhinolaryngology-Head and Neck Surgery, Vol. 46, No. 9, pp. 737-741, Sep. 2003
• S. H. Kim, "Design and Implementation of Hearing Testing Software for Personal-Tailored Hardness of Hearing Prevention", Journal of KIIT, Vol. 14, No. 4, pp. 1-9, Apr. 2016. [https://doi.org/10.14801/jkiit.2016.14.4.1]