高大資工余亞儒團隊開發「手語之聲」App 助聽障者溝通

【News586/記者張淑慧報導】國立高雄大學資訊工程學系 （ 資工系）教授余亞儒，指導江東庭、李思恩、王雋硯、蔡東祐等4位大四學生，結合「光流（Optical Flow）」、「深度學習（Deep Learning）」與「大語言模型（Large Language Model，LLM），開發即時手語辨識系統「手語之聲」，造福瘖啞人士，解決日常溝通不便困擾，該成果入選國科會大專學生研究計畫，以及校內「激發學生創意競賽–創業實作組」第一名殊榮。

余亞儒表示，根據政府資料，台灣約有18萬9千名瘖啞人士，其中台灣手語使用者2至3萬人，但全台僅有591名具備證照的專業手語翻譯員，加上多數民眾不諳手語，使得瘖啞人士在購物、銀行、醫院等生活場景溝通不便，無法得到即時回應，但這類相對少數（族群）的需求也代表商機有限，通常鮮少企業願意開發（解決方案），但對社會卻是非常有幫助，也因此團隊積極運用自身專業、助其改善生活品質。

「手語之聲」系統運用了光流技術、深度學習和資料生成技術，僅需普通攝影鏡頭即可捕捉使用者手部動作及臉部表情並即時分析，能夠準確快速地轉換為文字或語音，準確率可達93%。

即時手語辨識系統應用潛力廣泛，能夠融入教育、醫療、公共服務等多個領域。例如協助學校教師與聽障學生教與學；幫助醫護人員與聽障患者溝通病情；又如設置於政府、商業場所服務窗口，提升聽障人士在公共空間的便利性與參與度。

團隊成員江東庭表示，「我們突破手語資料稀缺的瓶頸，透過少量資料進行生成和擴充，使得系統能正確識別詞彙並將其組成完整句子。」該技術的核心在於用影像取代傳統的感測器方案，降低成本同時提升便利性。

余亞儒補充說明，系統目前能辨識單詞並串接成句，未來若能克服判斷句子斷點等挑戰，以及擴充至穿戴裝置或手機應用程式，應用場景將更為廣泛。例如與緊急救援系統加以整合，協助瘖啞人士報警、警消救援溝通更加順暢。

「手語之聲」成果獲得肯定，不僅通過113學年度國科會大專學生研究計畫，也摘下校內本（12）屆激發學生創意競賽—創業實作組第一名榮銜。