這個(gè)寒假，有一批失聰?shù)拇髮W(xué)生成了冬奧會(huì)的遠(yuǎn)程志愿者，他們來自天津理工大學(xué)聾人工學(xué)院。這些志愿者把電視新聞欄目的內(nèi)容轉(zhuǎn)換成手語順序的文本，為冬奧會(huì)轉(zhuǎn)播中需要的AI（人工智能）手語數(shù)字人提供大規(guī)模的語料支持。
袁甜甜，天津理工大學(xué)聾人工學(xué)院副院長，是這些聽障大學(xué)生的老師，也是無障礙智能科技研發(fā)中心的成員。她介紹：“無障礙智能科技研發(fā)中心將為冬奧會(huì)的實(shí)況轉(zhuǎn)播提供AI手語數(shù)字人的手語語料支持，我和學(xué)生們已經(jīng)為此忙了兩個(gè)多月。能夠?yàn)槎瑠W會(huì)服務(wù)，我們充滿了榮譽(yù)感。”
教AI認(rèn)知手語
2021年，創(chuàng)辦中國聾人高等工科特殊教育30年紀(jì)念大會(huì)上，一個(gè)“手語角”吸引了不少人駐足。只要在攝像頭前打出手語，身后的顯示屏上就會(huì)出現(xiàn)語意連貫的文字翻譯。袁甜甜展示著這個(gè)被稱為“復(fù)雜場景下中國手語實(shí)時(shí)翻譯系統(tǒng)”的《“鯨可語”——多模態(tài)連續(xù)手語自動(dòng)標(biāo)注識(shí)別系統(tǒng)》項(xiàng)目（下稱“鯨可語”）。據(jù)介紹，在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語的識(shí)別率最高能達(dá)到95%，部分場景下可以實(shí)現(xiàn)“同步翻譯”。研發(fā)這套系統(tǒng)的目的，是讓每個(gè)健聽人都能輕松地看懂手語。其自動(dòng)標(biāo)注識(shí)別系統(tǒng)“鯨可語”還獲得了去年第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽主賽道的金獎(jiǎng)。
王建源是研發(fā)團(tuán)隊(duì)的成員之一。他是聾人家庭長大的聾兒，聽力損失嚴(yán)重，吐字發(fā)聲非常困難，手語是他和這個(gè)世界打交道最初也最有效的方式。22年來，聾人的身份沒有讓他感到自卑；口不能言，也沒耽誤他成為一個(gè)妥妥的“學(xué)霸”；但如果你問他，因?yàn)槁犃φ系K，從小到大遇到過哪些方面的不便，他會(huì)平靜地在手機(jī)上打出四個(gè)字：方方面面——因?yàn)檎J(rèn)識(shí)手語的人太少了。
一個(gè)最典型的例子是看病，如果沒有手語翻譯陪著，即便只是頭疼腦熱，像王建源這樣的“手語族”也很難獨(dú)自就醫(yī)——絕大多數(shù)醫(yī)生不會(huì)手語。
從1991年9月11日首批6名聾生入學(xué)到今天，天津理工大學(xué)聾人學(xué)院的老師們積累了很多與聾人溝通的經(jīng)驗(yàn)。
袁甜甜學(xué)的是計(jì)算機(jī)專業(yè)，2006年研究生一畢業(yè)，她就在聾人工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系工作。上班第一天，她面對(duì)的挑戰(zhàn)就是學(xué)手語。通過看文字、讀唇語，學(xué)生們能夠了解老師，可是老師不能很快地了解學(xué)生。磕磕絆絆地學(xué)會(huì)了手語，袁甜甜記不清有多少次，凌晨一兩點(diǎn)鐘陪學(xué)生去看病，幫忙做手語翻譯。
我國有2780萬聾人，如何依靠科技的力量讓健康人走進(jìn)他們的世界？袁甜甜、王建源等人開始了“鯨可語”手語實(shí)時(shí)翻譯系統(tǒng)的研發(fā)。
“鯨可語”手語實(shí)時(shí)翻譯類似于手語版的“語音輸入法”。只不過后者是輸入語音、機(jī)器識(shí)別、轉(zhuǎn)成文字，而前者是輸入手語動(dòng)作和表情、機(jī)器識(shí)別。
要把人工智能訓(xùn)練成一個(gè)合格的手語翻譯，得把手勢、表情、大肢體動(dòng)作，通通從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)。所以，能充分理解、展示手語之美的聽障生，是最適合給人工智能當(dāng)“老師”的人。
很多國外團(tuán)隊(duì)建立的手語數(shù)據(jù)集無法支持復(fù)雜場景下的手語翻譯，一個(gè)直接的原因，就是無法找到足夠多的人在自然狀態(tài)下采集手語。“而我們的團(tuán)隊(duì)背靠聾人工學(xué)院，很多成員本身就是手語使用者，在自然手語的采集上有優(yōu)勢。”袁甜甜說。
讓健聽人“讀懂”聽障人更重要
冬奧會(huì)中，袁甜甜團(tuán)隊(duì)服務(wù)的AI手語數(shù)字人，能夠幫助聾人更好地理解健聽人的表達(dá)，“鯨可語”手語識(shí)別和翻譯則是借助科技的力量幫助健聽人更好地理解聾人的表達(dá)。這兩者之間有怎樣的區(qū)別？
做AI手語數(shù)字人，是讓聾人用熟悉的方式去理解健聽人的表達(dá)方式，核心研發(fā)點(diǎn)是手語生成，而“鯨可語”手語識(shí)別和翻譯的核心研發(fā)點(diǎn)是手語識(shí)別，“鯨可語”這項(xiàng)技術(shù)更難。“鯨可語”需要計(jì)算機(jī)視覺和自然語言識(shí)別處理兩種技術(shù)：聾人的手語包括表情、手部動(dòng)作，肢體動(dòng)作，都需要計(jì)算機(jī)做融合識(shí)別，這是計(jì)算機(jī)識(shí)別技術(shù)；把計(jì)算機(jī)識(shí)別出來的信息用計(jì)算機(jī)程序再變成健聽人所熟悉的語言模式，這是自然語言識(shí)別處理技術(shù)。AI手語數(shù)字人，某種程度上只涉及自然語言識(shí)別處理技術(shù)過程。從技術(shù)轉(zhuǎn)化上看，AI手語數(shù)字人的產(chǎn)業(yè)落地時(shí)間會(huì)更短，數(shù)據(jù)上的投入相對(duì)較少，更容易將成果市場化。
“為什么一定要搞手語翻譯呢？聾人聽不到，現(xiàn)在有語音識(shí)別啊！有的聾人不會(huì)說話，拿手機(jī)打字不就行了嗎？”曾經(jīng)有一些企業(yè)向袁甜甜了解過正在開發(fā)中的手語實(shí)時(shí)翻譯系統(tǒng)，想談投資。但談來談去，他們卻對(duì)項(xiàng)目的必要性產(chǎn)生了疑問，覺得手語翻譯除了“做善事”沒有其他意義。為什么還要傾心于“鯨可語”的研發(fā)和轉(zhuǎn)化呢？
“在與學(xué)生交流的過程中，我知道對(duì)殘障人士最好的關(guān)心就是平等。他們不是殘障，只是與我們不一樣。”袁甜甜說。
溝通永遠(yuǎn)是雙向的。我們教聽障人寫字、認(rèn)字，讀唇語，他們在努力融入健聽人的世界；我們健聽人也要為聽懂接納聽障人作出一點(diǎn)努力。
袁甜甜說，直到今天，手語仍然是許多聽障人士最自然、高效的表達(dá)方式，“比寫字、打字都快”。但為了促進(jìn)無障礙交流，要求健聽人都去學(xué)手語，顯然不現(xiàn)實(shí)。“鯨可語”手語實(shí)時(shí)翻譯系統(tǒng)就是利用高科技讓健聽人努力向聽障人靠攏。
（本報(bào)記者 劉 茜 陳建強(qiáng)）