編譯/VR陀螺

REALITY是日本聚逸株式會社（GREE, Inc.）旗下的全資子公司，其研究開發(fā)部門GREE VR Studio Laboratory今天公開了一段技術(shù)演示影像，展示元宇宙時代的虛擬演奏技術(shù)AI Fusion。

近年來，人們期望在三維空間中提高虛擬化身的表現(xiàn)力，以便在元宇宙中提供服務(wù)。虛擬化身技術(shù)是個人用戶的表現(xiàn)力和實時動作生成技術(shù)的融合，這種技術(shù)的改進將擴大創(chuàng)作者經(jīng)濟的價值和可能性。

這次發(fā)布的視頻，通過將元宇宙手機App“REALITY”中的虛擬化身和智能手機的面部識別以及“AI Fusion”技術(shù)相結(jié)合，實現(xiàn)了高度表現(xiàn)力且多變的音樂演奏。

圖源：REALITY

視頻中的原創(chuàng)歌曲《Tsuyuhanabi》專為此次實驗編寫（作詞/作曲：菜那），系統(tǒng)基于該歌曲生成了正確演奏四種樂器——鋼琴、吉他、貝司和架子鼓的手臂與手指動作。

視頻展示出“AI Fusion”技術(shù)動態(tài)地融合了整個身體的運動和面部表情，使表演者能夠在實時視頻中自由地進行自然和高級的表演。唱歌時的面部表情是通過元宇宙手機App“REALITY”以及通用算法錄制的，而全身動作則是在Crescent公司錄制的。

利用這次開發(fā)的技術(shù)，將來有望實現(xiàn)在一個自由的空間里，只使用智能手機與其他用戶同時以全身動作來進行歌唱和任意音樂的高級表演。

來源：PRTimes