在湖北省咸寧市藝萌聽力語言康復(fù)中心,一堂特別的AI繪圖課正在進(jìn)行。
佩戴助聽設(shè)備的孩子們圍坐在屏幕前,隨著一幅幅人工智能生成的卡通圖像顯現(xiàn),華中科技大學(xué)金蟬子公益團(tuán)隊成員柏一茗用放大的口型和緩慢的語速引導(dǎo)孩子們操作AI繪圖工具,鼓勵他們嘗試描述畫面內(nèi)容。
“媽媽……漂亮……穿裙子……”一名聽障兒童在志愿者的耐心引導(dǎo)下逐步開口描述出媽媽的模樣,AI根據(jù)描述生成一位穿裙子的“卡通媽媽”形象,孩子高興地笑了。
該團(tuán)隊由來自華中科技大學(xué)新聞與信息傳播學(xué)院、人工智能與自動化學(xué)院、多譜信息智能處理技術(shù)全國重點實驗室、未來技術(shù)學(xué)院等的師生組成。他們通過自主研發(fā)唇語輔助訓(xùn)練系統(tǒng),結(jié)合志愿者的伴讀講解,幫助聽障人士理解唇語、學(xué)習(xí)說話,開展公益發(fā)聲教學(xué)。
“蟬鳴悅耳,我們給團(tuán)隊取名‘金蟬子’,就是希望用科技和公益的力量,彌補他們聽覺上的缺憾。”團(tuán)隊創(chuàng)始人之一、華中科技大學(xué)新聞與信息傳播學(xué)院副教授王然說。
故事還要從4年前說起。
2021年,王然在調(diào)研中發(fā)現(xiàn),多數(shù)聽障者發(fā)聲器官完好,卻因缺乏聽覺反饋陷入“能發(fā)聲,但不敢說、不會說”的困境。
視覺能否成為語言學(xué)習(xí)的“另一雙耳朵”?沿著這個思路,王然聯(lián)合人工智能與自動化學(xué)院、多譜信息智能處理技術(shù)全國重點實驗室教授肖陽,在全校招募不同學(xué)科背景的學(xué)生組建團(tuán)隊,開啟基于人工智能的唇語輔助訓(xùn)練系統(tǒng)的研發(fā)探索。
團(tuán)隊收集了數(shù)萬條面部視頻數(shù)據(jù),通過語音識別和人工標(biāo)注對這些數(shù)據(jù)進(jìn)行清洗,再利用算法精準(zhǔn)定位并裁剪出說話人不同狀態(tài)下的唇動細(xì)節(jié)。
王然介紹,當(dāng)聽障用戶練習(xí)發(fā)聲時,系統(tǒng)會完整記錄他們的唇部動作,從中提取唇形變化的細(xì)節(jié)特征,再將量化后的結(jié)果與標(biāo)準(zhǔn)唇形特征庫進(jìn)行模擬比對、打分,讓用戶即時獲知發(fā)聲口型正誤,“借助AI,讓聲音能‘被看見’,讓聽障者便捷學(xué)習(xí)唇語”。
湖北省聾兒康復(fù)中心,是團(tuán)隊的常駐服務(wù)點之一。
“早上好……”孩子們跟隨金蟬子公益團(tuán)隊隊長、新聞與信息傳播學(xué)院研二學(xué)生陳星宇的引導(dǎo),借助唇語輔助訓(xùn)練系統(tǒng),通過模仿基礎(chǔ)音素和漢字的口型,進(jìn)行發(fā)聲訓(xùn)練。
“他們學(xué)一個字要付出十倍甚至百倍的努力,當(dāng)看到他們能完整地進(jìn)行自我介紹時,我感到無比滿足?!标愋怯钫f。
聽障人士觸摸聲帶振動、感受氣息流動,使發(fā)聲學(xué)習(xí)更加直觀和有效。4年多來,金蟬子公益團(tuán)隊在北京、武漢、長沙等地的50多個社區(qū)、20多所聾校開展公益教學(xué),累計服務(wù)時長超4萬小時,惠及3200多人次。經(jīng)數(shù)據(jù)對比,在志愿者教學(xué)與智能系統(tǒng)協(xié)同配合下,聽障人士唇語學(xué)習(xí)效率提升了3倍。
“理工科背景的學(xué)生攻關(guān)系統(tǒng)的研發(fā)迭代,播音與主持藝術(shù)專業(yè)的學(xué)生教授聽障人士準(zhǔn)確的發(fā)聲技巧,實現(xiàn)優(yōu)勢互補?!眻F(tuán)隊指導(dǎo)教師、新聞與信息傳播學(xué)院副教授龔超說?!拔覀兪冀K高度重視創(chuàng)新創(chuàng)業(yè)工作,持續(xù)推進(jìn)人文學(xué)科、社會科學(xué)與自然科學(xué)、技術(shù)科學(xué)的交叉融合?!眻F(tuán)隊指導(dǎo)教師、新聞與信息傳播學(xué)院副院長李華君介紹。
線下,為了進(jìn)一步提升與聽障者的溝通效率,團(tuán)隊定期與聽障朋友開展手語交流與科普活動。
線上,團(tuán)隊搭建起科普全媒體矩陣,發(fā)布內(nèi)容涵蓋無障礙設(shè)施使用、求職技巧等,契合聽障群體的實際所需,提供更精準(zhǔn)的服務(wù)。
“科技助殘不僅關(guān)乎技術(shù)進(jìn)步,更關(guān)乎社會溫度?!痹陉愋怯羁磥?,更重要的是教會聽障人士生存和職業(yè)技能,幫助他們更好融入社會。
華中科技大學(xué)“AI助聾,讓愛發(fā)聲”志愿服務(wù)項目入選2024年度全國志愿服務(wù)“四個100”先進(jìn)典型名單。未來,團(tuán)隊將持續(xù)優(yōu)化系統(tǒng)適殘化設(shè)計,將服務(wù)推廣至更多地區(qū)。
“我們的目標(biāo)是讓聽障人士突破溝通壁壘,像健聽人一樣自如交流,真正實現(xiàn)‘殘健融合’。”面對未來,王然充滿信心。
《 人民日報 》( 2025年10月11日 07 版)