2022年2月4日，四季初始，佳期如許。第24屆冬奧會(huì)在北京盛大開(kāi)幕。世界目光再次聚焦北京，世界期待中國(guó)，中國(guó)做好了準(zhǔn)備。北京冬奧會(huì)始終秉持綠色、共享、開(kāi)放、廉潔的辦奧理念，凝聚中國(guó)科技力量，展示大國(guó)風(fēng)范，共同參與、共同享有，面向世界、面向未來(lái)，為世界奉獻(xiàn)一場(chǎng)精彩、非凡的盛會(huì)。
 

　　冬奧手語(yǔ)播報(bào)數(shù)字人——科技與人文的結(jié)合！
 

　　我國(guó)有超2700萬(wàn)聽(tīng)障人群，他們與健聽(tīng)人一樣，對(duì)教育、社交、娛樂(lè)、信息獲取都有巨大的需求量。電視媒體作為大眾傳播媒介，是普及傳播通道。但傳統(tǒng)人工手語(yǔ)翻譯工作量大，且主持人和手語(yǔ)主持人配合難度*。為了讓聽(tīng)障人士能平等便利地享受冬奧盛會(huì)，北京電視臺(tái)上線這樣一位智能手語(yǔ)播報(bào)數(shù)字人，她僅用3個(gè)多月時(shí)間完成了近10萬(wàn)條手語(yǔ)語(yǔ)料學(xué)習(xí)，翻譯準(zhǔn)確率高達(dá)90%，在北京新聞和北京您早等節(jié)目中進(jìn)行冬奧專題手語(yǔ)播報(bào)，為聽(tīng)障人士帶來(lái)精彩冬奧賽事播報(bào)。
 

　　手語(yǔ)動(dòng)作表情復(fù)雜，語(yǔ)序與正常語(yǔ)序差異大，正常情況下想要熟練掌握手語(yǔ)大約需要2年左右的時(shí)間，且還要結(jié)合語(yǔ)境進(jìn)行猜測(cè)，她是如何做到的呢？
 

　　這歸功于智能數(shù)字人技術(shù)的進(jìn)步。
 

　　
 

　　冬奧手語(yǔ)播報(bào)數(shù)字人系統(tǒng)是由北京市科委科技冬奧專班委托，凌云光、智譜AI和北京廣播電視臺(tái)聯(lián)合打造，北京市殘疾人聯(lián)合會(huì)和市殘聯(lián)聾人協(xié)會(huì)的大力支持，在冬奧會(huì)期間，手語(yǔ)播報(bào)數(shù)字人在北京電視臺(tái)冬奧專題節(jié)目上提供賽事專題播報(bào)，方便聽(tīng)障人士收看冬奧報(bào)道。
 

　　今天讓我們一起來(lái)扒一扒冬奧手語(yǔ)播報(bào)數(shù)字人背后的技術(shù)創(chuàng)新。
 

　　高精度多模態(tài)的手語(yǔ)語(yǔ)料采集方案
 

　　創(chuàng)建10萬(wàn)條高質(zhì)量冬奧手語(yǔ)語(yǔ)料庫(kù)
 

　　近年來(lái)人工智能體系建設(shè)重點(diǎn)布局在算法層和應(yīng)用層，數(shù)據(jù)層建設(shè)遠(yuǎn)遠(yuǎn)不足，尤其針對(duì)數(shù)字人相關(guān)產(chǎn)業(yè)，底層數(shù)據(jù)庫(kù)的數(shù)量、質(zhì)量和開(kāi)源程度還明顯不足。國(guó)內(nèi)現(xiàn)有的手語(yǔ)語(yǔ)料數(shù)據(jù)庫(kù)數(shù)量少，且多以圖像、視頻等二維平面為主，無(wú)法滿足AI訓(xùn)練的需求。因手語(yǔ)手語(yǔ)語(yǔ)序與中文語(yǔ)序差異大，方言分化也更加復(fù)雜，且需要通過(guò)表情、口型、動(dòng)作等方式來(lái)傳達(dá)信息。除了傳統(tǒng)的二維平面圖像、視頻采集，三維肢體運(yùn)動(dòng)、表情信息數(shù)據(jù)采集及結(jié)構(gòu)化參數(shù)表達(dá)。手語(yǔ)作為肢體、手勢(shì)、表情全面信息載體，手語(yǔ)語(yǔ)料數(shù)據(jù)庫(kù)建設(shè)對(duì)三維運(yùn)動(dòng)信息捕捉需求更為明顯。
 

　　凌云光多模態(tài)手語(yǔ)語(yǔ)料采集方案，集成高精度人臉人體重建、動(dòng)作捕捉、面部表情捕捉、手指捕捉等技術(shù)，可實(shí)現(xiàn)二維\三維肢體動(dòng)作、表情、手指等手語(yǔ)語(yǔ)料高效同步采集。在3個(gè)月時(shí)間內(nèi)，完成10萬(wàn)條高質(zhì)量手語(yǔ)語(yǔ)料庫(kù)建設(shè)。同時(shí)充分調(diào)研2022北京冬奧專用手語(yǔ)術(shù)語(yǔ)，聯(lián)合北京市殘聯(lián)、聾人協(xié)會(huì)等相關(guān)組織機(jī)構(gòu)，進(jìn)行數(shù)據(jù)標(biāo)注，建設(shè)手語(yǔ)語(yǔ)義映射關(guān)系，大大完善了國(guó)內(nèi)手語(yǔ)數(shù)據(jù)庫(kù)的建設(shè)，為手語(yǔ)推廣和AI研究留下了寶貴的數(shù)據(jù)資產(chǎn)。
 

　　AI手語(yǔ)數(shù)字腦，智能提取關(guān)鍵語(yǔ)義，
 

　　自動(dòng)生成手語(yǔ)語(yǔ)序，準(zhǔn)確率高
 

　　
 

　　手語(yǔ)數(shù)字腦就是用計(jì)算機(jī)模仿聽(tīng)障人士的大腦，基于“悟道2.0”超大規(guī)模人工智能模型的技術(shù)支撐，將看到的中文文本信息轉(zhuǎn)換成手語(yǔ)詞匯序列，主要包括中文語(yǔ)義蒸餾模型和AI手語(yǔ)分詞快編算法的研究。其中中文語(yǔ)義蒸餾模型用于從輸入的文稿或文本中提取出關(guān)鍵的語(yǔ)義信息，將中文文本語(yǔ)義提煉和精簡(jiǎn)，形成精準(zhǔn)匹配適合手語(yǔ)表達(dá)的文本。AI手語(yǔ)分詞快編算法用于將蒸餾得到的中文文本根據(jù)冬奧手語(yǔ)語(yǔ)料庫(kù)，劃分成相應(yīng)的手語(yǔ)詞匯序列，供數(shù)字人做表達(dá)的輸入。
 

　　跨模態(tài)擬人生成算法，將手語(yǔ)語(yǔ)序列
 

　　生成對(duì)應(yīng)擬人的動(dòng)作、手勢(shì)、表情，
 

　　表達(dá)自然地道，更加易懂。
 

　　#FormatImgID_0#
 

　　數(shù)字人是冬奧手語(yǔ)播報(bào)的載體和展現(xiàn)形式，通過(guò)凌云光高精度寫(xiě)實(shí)數(shù)字人全流程制作方案，可實(shí)現(xiàn)一鍵數(shù)字建模，高度還原真人發(fā)膚，毛孔級(jí)細(xì)節(jié)重現(xiàn)，更加真實(shí)親切。通過(guò)跨模態(tài)擬人生成算法，可以將手語(yǔ)詞匯序列，生成相應(yīng)的動(dòng)作信息，驅(qū)動(dòng)數(shù)字人模型做出相應(yīng)的動(dòng)作、手勢(shì)和表情。此算法能夠兼顧短時(shí)相鄰手勢(shì)動(dòng)作的連貫性和長(zhǎng)時(shí)手勢(shì)動(dòng)作的語(yǔ)義完整性和一致性，支持正常語(yǔ)速驅(qū)動(dòng)，動(dòng)作表情自然流暢。
 

　　科技讓生活更美好。冬奧手語(yǔ)播報(bào)數(shù)字人，讓聽(tīng)障人士能平等、方便、無(wú)障礙的享受冬奧盛會(huì)，未來(lái)將會(huì)在更多場(chǎng)所提供更便捷服務(wù)。凌云光也將持續(xù)攀登科學(xué)高峰，推動(dòng)產(chǎn)業(yè)創(chuàng)新，服務(wù)回報(bào)社會(huì)。