天津理工大學聾人工學院研究團隊對手語數據庫做進一步調試完善。記者 姜寶成 攝

日前，北京冬奧會開幕，央視新聞AI手語主播正式“上崗”，在央視新聞冬奧直播特別節目等為聽障人士提供實時手語翻譯。為這名手語主播搭建手語資料庫的，是天津理工大學聾人工學院無障礙智能科技研發團隊的師生們。

“我們從6年前就開始研發這套‘復雜場景下中國手語實時翻譯系統’，目前已累計20多萬條語料，可以實時把手語動作轉化為文字。”該團隊負責人、天津理工大學聾人工學院副院長袁甜甜教授介紹，就像現在成熟的語音翻譯軟件一樣，這套系統能將輸入的手語動作和表情經由計算機視覺技術識別后翻譯成文字或語音，幫助聾人實現其信息向聽者方面傳輸，“這樣既能提高溝通效率，也讓溝通體現人文關懷。有了雙向實時翻譯，項目才算真正落地。”

用手語“說話”的語序和健聽人習慣的漢語語序是不一樣的，有一套相對獨立的語法體系，而且手語的表達方式豐富，要“說”出一個意思完整的句子，除了手勢，也要配合相應的表情甚至肢體動作。所以，想讓人工智能成為合格的手語翻譯，需要把手勢、表情、大肢體動作從視頻轉化為數據，再“教”給計算機學習。此外，為了讓手語主播在新聞場景下的手語實時生成能跟上新聞播報的速度，團隊還要“教”計算機“學會”自己提取主干信息，同時完善與體育、新聞相關的專業語料，並按照聽障人士的語言順序不斷調整手語速度、停頓間隙等，讓手語含義得到准確表達。

“能為冬奧會服務，我們感到很光榮、很自豪。”袁甜甜說，研發團隊已對百萬級日常使用的對譯文本、十萬級冬奧會專有對譯文本及冬奧會專有手語動作進行了多輪打磨，努力為手語主播提供盡可能豐富的語料支撐，使其能為聽障人士提供專業、准確的手語解說，“此次冬奧會是實現手語識別落地的第一步，我們致力於實現手語識別項目在多個場景下的落地，助力聽障人群和健聽人群無障礙交流，並將這項技術推廣到環境感知、微表情分析等眾多領域。”（記者 姜凝）

分享讓更多人看到