核心閱讀

　　一邊是聽(tīng)障人士打著(zhù)手語(yǔ)，一邊是屏幕上自動(dòng)“翻譯”出文字。為了讓更多聽(tīng)障人士被“聽(tīng)見(jiàn)”，天津理工大學(xué)鯨言創(chuàng )益無(wú)障礙智能科技研發(fā)團隊用近5年時(shí)間，構建起視頻語(yǔ)料庫，研發(fā)“復雜場(chǎng)景下中國手語(yǔ)實(shí)時(shí)翻譯系統”，讓人工智能技術(shù)帶給人們更多便利。

　　攝像頭前，張益彬左右手交替揮舞，嘴角伴隨手語(yǔ)動(dòng)作微微上揚，一旁的顯示屏上，“陽(yáng)光總在風(fēng)雨后”7個(gè)字立刻顯示出來(lái)……

　　張益彬是天津理工大學(xué)聾人工學(xué)院網(wǎng)絡(luò )工程專(zhuān)業(yè)2019級學(xué)生，也是該校鯨言創(chuàng )益無(wú)障礙智能科技研發(fā)團隊的成員。在這個(gè)近60人的團隊中，超過(guò)一半成員是和張益彬一樣的聽(tīng)障學(xué)生，他們用近5年時(shí)間構建起一個(gè)包含30余萬(wàn)條視頻的語(yǔ)料庫。如今，團隊打造的“復雜場(chǎng)景下中國手語(yǔ)實(shí)時(shí)翻譯系統”即將落地應用。

　　大膽嘗試，將手語(yǔ)實(shí)時(shí)翻譯為語(yǔ)音或文字

　　2006年，袁甜甜成為天津理工大學(xué)聾人工學(xué)院計算機系的一名教師，對她來(lái)說(shuō)，教學(xué)最大的困難是交流障礙。

　　當時(shí)，語(yǔ)音識別軟件尚未問(wèn)世，學(xué)生又都是聽(tīng)障人士，袁甜甜只能硬著(zhù)頭皮自學(xué)手語(yǔ)，“一堂課下來(lái)，手舞足蹈，經(jīng)常滿(mǎn)頭大汗，一望臺下，學(xué)生們還是一臉茫然。”袁甜甜說(shuō)，向學(xué)生傳遞信息很難，難上加難的是了解學(xué)生的想法。

　　第二次全國殘疾人抽樣調查數據顯示，我國約有聽(tīng)障人士2780萬(wàn)人。“時(shí)至今日，手語(yǔ)仍是聽(tīng)障人士的‘母語(yǔ)’。”袁甜甜說(shuō)，盡管近年來(lái)語(yǔ)音識別軟件普及，但表達的邏輯出發(fā)點(diǎn)始終繞不開(kāi)健聽(tīng)人，“對于聽(tīng)障人士來(lái)說(shuō)，聽(tīng)懂是一方面，但他們最渴望的，還是被‘聽(tīng)見(jiàn)’。”

　　2016年底，手語(yǔ)識別系統的雛形開(kāi)始在袁甜甜腦海中清晰起來(lái)。“聽(tīng)障人士在攝像頭前打出手語(yǔ)，視頻畫(huà)面經(jīng)過(guò)計算機的分析處理，轉換為文字或者語(yǔ)音。”袁甜甜闡釋設想，創(chuàng )新的邏輯出發(fā)點(diǎn)從健聽(tīng)人變成了聽(tīng)障人，也意味著(zhù)沒(méi)有成熟的方案可以借鑒。“這是一次關(guān)乎‘表達’的探險。”袁甜甜說(shuō)。

　　構建算法，給計算機編一套手語(yǔ)教材

　　如果說(shuō)“手語(yǔ)識別”和“語(yǔ)音識別”還有一些相似之處，那就是二者都必須依托于豐富的語(yǔ)料庫。如今，語(yǔ)音識別語(yǔ)料庫已十分成熟豐富，“語(yǔ)音的語(yǔ)料在自然狀態(tài)下非常便于獲取，但手語(yǔ)語(yǔ)料卻非常少。”袁甜甜說(shuō)。

　　“另外，語(yǔ)音是一種‘單信道’的形式，而手語(yǔ)是‘多信道’，計算機要識別的不只有動(dòng)作，還有表情和場(chǎng)景。”袁甜甜介紹，從對數據采集的支撐程度看，我國目前手語(yǔ)語(yǔ)言學(xué)的體系性并不強，“手語(yǔ)方言”比比皆是，這就給數據采集造成了極大困難。

　　“要將設想變?yōu)楝F實(shí)，就要先確立標準。”袁甜甜說(shuō)，她和團隊成員確定了先易后難的思路，基于國家通用手語(yǔ)的標準采集數據，“簡(jiǎn)單來(lái)講，我們翻譯的是手語(yǔ)里的‘普通話(huà)’。”

　　王建源是聾人工學(xué)院網(wǎng)絡(luò )工程專(zhuān)業(yè)2018級學(xué)生，也是鯨言創(chuàng )益團隊的初創(chuàng )成員。他的工作是收集手語(yǔ)語(yǔ)料，這些語(yǔ)料便是視頻畫(huà)面。“招募志愿者，請他們來(lái)錄視頻，反反復復地錄。”王建源“說(shuō)”。

　　王建源從小在特殊學(xué)校求學(xué)，父母也都是聽(tīng)障人士，他從不避諱在健聽(tīng)人面前打出手語(yǔ)，因為他覺(jué)得手語(yǔ)很美。“但是，手語(yǔ)的美是復雜的，這個(gè)工程量太大了！”王建源笑著(zhù)“說(shuō)”。

　　兩年時(shí)間里，王建源和團隊其他成員幾乎每天都準時(shí)出現在學(xué)院的實(shí)驗室，有時(shí)忙到很晚，干脆席地而睡。如今，他們已經(jīng)收集到30余萬(wàn)條語(yǔ)料，“經(jīng)過(guò)測算對比，距離中國漢語(yǔ)水平考試的4級水平僅差100多個(gè)詞了。”王建源介紹。

　　手語(yǔ)是一門(mén)視覺(jué)語(yǔ)言，有特定的語(yǔ)法、語(yǔ)序。手勢、表情、肢體動(dòng)作自由排列組合，表達的便是不同的意思。在袁甜甜的設想中，這套系統呈現的內容，不應該是由漢語(yǔ)單詞羅列而成的句子，而是在輸入端和輸出端既要遵循手語(yǔ)語(yǔ)序、語(yǔ)境，也要符合漢語(yǔ)的表述邏輯。

　　天津理工大學(xué)計算機學(xué)院研一學(xué)生孫悅把自己在團隊中的工作形容為“修橋”。“就拿‘陽(yáng)光總在風(fēng)雨后’這句話(huà)來(lái)說(shuō)，手語(yǔ)的語(yǔ)序是‘風(fēng)/雨/結束/陽(yáng)光’，這顯然讓人看不懂。”孫悅說(shuō)，她和伙伴們逐漸構建起一套手語(yǔ)識別算法框架模型，“通俗來(lái)說(shuō)，就是我們給計算機編了一套‘手語(yǔ)教材’。”有了這套“教材”，豐富的語(yǔ)料庫就有了用武之地，相當于找到了手語(yǔ)轉換為漢語(yǔ)的規律，“橋”修通了，數據才能跑得順暢。如今，這個(gè)模型已經(jīng)基本能夠實(shí)現“復雜場(chǎng)景下的手語(yǔ)實(shí)時(shí)翻譯”。

　　搭建橋梁，手語(yǔ)翻譯應用于更多場(chǎng)景

　　2019年，袁甜甜領(lǐng)銜的“復雜場(chǎng)景下中國手語(yǔ)實(shí)時(shí)翻譯系統”入選工信部新一代人工智能產(chǎn)業(yè)創(chuàng )新重點(diǎn)任務(wù)揭榜項目，并獲得國家資金支持，這也加快了整個(gè)團隊前進(jìn)的步伐。

　　去年5月，他們把研究成果帶進(jìn)了在天津舉行的第五屆世界智能大會(huì )的會(huì )場(chǎng)，獲得點(diǎn)贊。“當時(shí)系統已經(jīng)涵蓋教育、法律、餐飲、交通等應用場(chǎng)景，在光線(xiàn)充足的環(huán)境下，識別率可達95%。”袁甜甜說(shuō)，如今，這套系統還在升級，“我們的目標是100萬(wàn)條語(yǔ)料，基本覆蓋社會(huì )生活的常用場(chǎng)景。”

　　最讓張益彬難忘的是，去年10月，他和團隊合力研發(fā)的項目《“鯨可語(yǔ)”——多模態(tài)連續手語(yǔ)自動(dòng)標注識別系統》榮獲第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng )新創(chuàng )業(yè)大賽全國總決賽金獎，而自動(dòng)標注識別是手語(yǔ)翻譯的關(guān)鍵一環(huán)。這也證明了“張益彬們”的努力得到了國內科創(chuàng )界的高度關(guān)注。

　　聞?dòng)嵍鴣?lái)的合作方越來(lái)越多，這讓團隊成員對于系統未來(lái)的應用場(chǎng)景有了無(wú)盡暢想。不久前，天津市急救中心也找到他們，希望引入這套系統。“經(jīng)常碰到急救對象是聽(tīng)障人士，生命垂危之際，打字交流效率太低了，往往只能用手語(yǔ)表達。”袁甜甜說(shuō)。

　　今年之內，這套系統將應用于天津理工大學(xué)的辦公樓。到時(shí)，樓內大廳將出現一個(gè)交互機器人和一塊交互大屏，所有聽(tīng)障人士都可以被“聽(tīng)見(jiàn)”。

　　《 人民日報 》（ 2022年07月08日 第 11 版）