手機幫忙「智慧聽」--

輕微聽損的學生、長輩,因為空間距離、背景噪音,無法聽清楚老師或講者的話語。這種情況,常在課堂與演講中被忽略。中研院張佑榕、曹昱團隊與跨單位合作,打造智慧聽 APP 助聽系統,讓聲音直送耳朵,學習沒有距離。

課堂和演講中,每個人都能聽得清楚嗎?有些並不是。圖片來源│iStock

課堂和演講中,每個人都能聽得清楚嗎?有些並不是。 圖片來源│iStock

 聽不清楚的困擾

孔子曰:益者三友,友直,友諒,友多聞。而「聞」的前提,就藏在象形字的奧妙中,需要靠「耳」來聽取知識。若是學齡兒童有聽損情況,無法將眼前的「文字」與「聲音」相連結,會造成學習效果下降(註一);對於聽覺稍微退化的長輩來說,聽不清楚旁人的話語,也會心生社交壓力。

生活中常見的聽覺阻礙是:背景噪音、聽者與說話者的距離。

觀察到這些聽覺阻礙,受到馬偕醫學院張秀雯助理教授的邀請,加上雅文基金會張逸屏研究員的合作,中研院資訊科技創新研究中心的副研究員──張佑榕、曹昱,實驗如何透過便利的方法,來解決「因為空間距離和背景噪音,而聽不清楚」的輕微聽損問題。

 聲音,直送耳朵

我們可以將「聲波」想像成一位旅者,這位旅者從說話者的嘴巴出發,要到達聽者的耳朵,需要經過一大段空間。張佑榕和曹昱的解決方案是:「我們可以縮減這段空間,讓聲波這位旅者,直接跳到聽者的耳朵」。

這種「聲音直送」的助聽功能,傳統上是透過 FM 調頻系統來達成,但市面上的調頻助聽系統,售價約為臺幣 6 至 8 萬元,並非人人負擔得起,或是有些輕微聽損者還用不到如此高規格的輔具。

幸好,大多數人都有手機,手機又相當強大,張佑榕、曹昱決定用智慧型手機來實現「調頻助聽系統」的功能。

手機安裝「智慧聽」App、搭配藍芽耳機,就能變成類似「調頻助聽系統」的聽能輔具。圖片來源│智慧聽 SmartHear 說明影片

手機安裝「智慧聽」App、搭配藍芽耳機,就能變成類似「調頻助聽系統」的聽能輔具。 圖片來源│智慧聽 SmartHear 說明影片

 

那麼,要如何讓聲波透過手機走捷徑呢?生活中常用的無線通訊──藍芽和 Wi-Fi,可以為聲波搭出一條高速道路。如下圖所示:

小型課堂或社交場合,說話者的聲音經由面前的手機、藍芽傳輸,直送聽者的藍芽耳機。圖片來源│智慧聽 SmartHear 說明影片圖說重製│林洵安

小型課堂或社交場合,說話者的聲音經由面前的手機、藍芽傳輸,直送聽者的藍芽耳機。 圖片來源│智慧聽 SmartHear 說明影片 圖說重製│林洵安

大型課堂或演講,講師的聲音經由面前的手機、Wi-Fi 傳輸,直送聽者的手機和藍芽耳機。圖片來源│智慧聽 SmartHear 說明影片圖說重製│林洵安

大型課堂或演講,講師的聲音經由面前的手機、Wi-Fi 傳輸,直送聽者的手機和藍芽耳機。 圖片來源│智慧聽 SmartHear 說明影片 圖說重製│林洵安

 

 清除噪音、轉換文字

「聽者與說話者的距離」這個聽覺阻礙,透過無線通訊解決了,但還有另一個問題:背景噪音。

上課時同學很吵、講座場地反射回音,這些噪音都會附加於講者的聲音,讓輕微聽損者聽不清楚。因此,曹昱在智慧聽 APP 加上除噪功能,「目前我們是採用 GMAPA (適應性噪音消除演算法,註二),之後會嘗試用深度學習模型來消除噪音。」

日常生活中,就算聽覺健全,有時還是會聽錯別人說的話。考量這個情況,智慧聽 APP 另外加上「錄音」和「語音轉文字」的功能,除了可以重複聆聽確認,也能透過文字判讀聽到的話語。

「若是今天老師講的,我聽懂了七八成,那我再參照文字就能理解九成」,曹昱說明,目前文字是顯示在手機 APP ,若未來能結合穿戴式裝置,例如眼鏡,就能即時將關鍵字顯示在眼鏡上,透過視覺來輔助聽覺。

 

 集眾人智慧的助聽 APP

擅長「語音處理」的曹昱、專精「無線通訊」的張佑榕,兩者的研究融合一起,加上團隊成員協力,變成有助於人的「智慧聽」 APP。攝影│張語辰

擅長「語音處理」的曹昱、專精「無線通訊」的張佑榕,兩者的研究融合一起,加上團隊成員協力,變成有助於人的「智慧聽」 APP。 攝影│張語辰

 

要看更完整的精采文章,請至研之有物官網:

http://research.sinica.edu.tw/smarthear-app-chang-ronald-y-tsao-yu/

(趕快點進來喔!還有更多精采圖文!)