編譯/VR陀螺 云吞 一份由迪士尼和多所大學研究人員聯(lián)合發(fā)布的研究表明，一種基于深度學習的新的系統(tǒng)能夠更好的處理動畫角色在說話時的嘴部動作。這個系統(tǒng)能夠?qū)崟r捕捉人類說話的聲音的動作，然后在生成的動畫中同步自動展示。這一系統(tǒng)能夠應用在多個領域，包括讓社交VR的虛擬形象更加真實、富有交互感。 這份名為《A Deep Learning Approach for Generalized Speech Animation》的研究報告由迪士尼研究所、加拿大東加利福尼亞理工大學和卡內(nèi)基梅隆大學的研究人員發(fā)表，描述了一種已經(jīng)用“深度學習/神經(jīng)網(wǎng)絡”方法訓練的系統(tǒng)，通過單個揚聲器8小時的參考畫面（2543句），教導系統(tǒng)根據(jù)不同的語音單元（稱為音素）配合生成不同嘴型及其組合。 這一訓練系統(tǒng)之后還可以被用來分析任何說話者的音頻，并且自動生成嘴部的形狀，然后應用到動畫中。 創(chuàng)建與CGI字符的音頻記錄相匹配的語音動畫通常由熟練的動畫師手工完成。 雖然這個系統(tǒng)不能滿足主要CGI制作的高保真語音動畫，但它肯定可以用作這樣的制作中的自動化首播，或者用于在可能的地方添加可傳遞的語音動畫，比如在大型RPG游戲中的NPC對話上，以及那些沒有預算聘請動畫師的項目。 在VR中，系統(tǒng)可以用于通過在用戶說話時實時化地實現(xiàn)虛擬形象的嘴部運動，使社交VR形象更逼真。 真正的嘴部跟蹤（光學等）是用于虛擬形象的語音的最準確的方法，但是在口部跟蹤硬件變得普遍之前，像這樣的程序語音動畫系統(tǒng)可以成為權(quán)宜之計。 關注微信公眾號：VR陀螺（vrtuoluo）,定時推送，VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。