編譯/VR陀螺

REALITY是日本聚逸株式會(huì)社（GREE, Inc.）旗下的全資子公司，其研究開(kāi)發(fā)部門(mén)GREE VR Studio Laboratory今天公開(kāi)了一段技術(shù)演示影像，展示元宇宙時(shí)代的虛擬演奏技術(shù)AI Fusion。

近年來(lái)，人們期望在三維空間中提高虛擬化身的表現(xiàn)力，以便在元宇宙中提供服務(wù)。虛擬化身技術(shù)是個(gè)人用戶的表現(xiàn)力和實(shí)時(shí)動(dòng)作生成技術(shù)的融合，這種技術(shù)的改進(jìn)將擴(kuò)大創(chuàng)作者經(jīng)濟(jì)的價(jià)值和可能性。

這次發(fā)布的視頻，通過(guò)將元宇宙手機(jī)App“REALITY”中的虛擬化身和智能手機(jī)的面部識(shí)別以及“AI Fusion”技術(shù)相結(jié)合，實(shí)現(xiàn)了高度表現(xiàn)力且多變的音樂(lè)演奏。

圖源：REALITY

視頻中的原創(chuàng)歌曲《Tsuyuhanabi》專(zhuān)為此次實(shí)驗(yàn)編寫(xiě)（作詞/作曲：菜那），系統(tǒng)基于該歌曲生成了正確演奏四種樂(lè)器——鋼琴、吉他、貝司和架子鼓的手臂與手指動(dòng)作。

視頻展示出“AI Fusion”技術(shù)動(dòng)態(tài)地融合了整個(gè)身體的運(yùn)動(dòng)和面部表情，使表演者能夠在實(shí)時(shí)視頻中自由地進(jìn)行自然和高級(jí)的表演。唱歌時(shí)的面部表情是通過(guò)元宇宙手機(jī)App“REALITY”以及通用算法錄制的，而全身動(dòng)作則是在Crescent公司錄制的。

利用這次開(kāi)發(fā)的技術(shù)，將來(lái)有望實(shí)現(xiàn)在一個(gè)自由的空間里，只使用智能手機(jī)與其他用戶同時(shí)以全身動(dòng)作來(lái)進(jìn)行歌唱和任意音樂(lè)的高級(jí)表演。

來(lái)源：PRTimes