編譯/VR陀螺

今天，美國(guó)專(zhuān)利商標(biāo)局正式授予蘋(píng)果公司一項(xiàng)專(zhuān)利，該專(zhuān)利涉及利用基于血流追蹤的機(jī)器學(xué)習(xí)生成下一代逼真的虛擬化身。蘋(píng)果公司技術(shù)開(kāi)發(fā)集團(tuán)副總裁Mike Rockwell在介紹蘋(píng)果Vision Pro時(shí)提出了示例。

Rockwell表示：“對(duì)于像FaceTime這樣的數(shù)字通信，Vision Pro不僅僅能傳達(dá)你的眼睛，還能創(chuàng)造一個(gè)真實(shí)的你。這是我們?cè)陂_(kāi)發(fā)Vision Pro時(shí)面臨的困難挑戰(zhàn)。我們利用機(jī)器學(xué)習(xí)技術(shù)，創(chuàng)造了一種新穎的解決方案。”

在使用Vision Pro的前置傳感器進(jìn)行快速注冊(cè)后，系統(tǒng)會(huì)使用編碼器-解碼器神經(jīng)網(wǎng)絡(luò)創(chuàng)建用戶(hù)的數(shù)字化身。這個(gè)網(wǎng)絡(luò)是在數(shù)千人的不同群體中訓(xùn)練出來(lái)的。它能提供自然的表現(xiàn)形式，動(dòng)態(tài)匹配用戶(hù)的面部和手部動(dòng)作。用戶(hù)有了“角色”，就可以與十多億臺(tái)支持FaceTime的設(shè)備進(jìn)行交流。當(dāng)他人在另一個(gè)Vision Pro中觀(guān)看時(shí)，用戶(hù)的“角色”會(huì)呈現(xiàn)出傳統(tǒng)視頻無(wú)法達(dá)到的體積和深度。

基于機(jī)器學(xué)習(xí)的血流追蹤

蘋(píng)果公司獲得的專(zhuān)利涉及利用基于機(jī)器學(xué)習(xí)的血流追蹤技術(shù)生成虛擬化身的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。為了生成逼真的化身，可以根據(jù)主體可能做出的面部表情來(lái)模仿血流動(dòng)向。也就是說(shuō)，當(dāng)一個(gè)人說(shuō)話(huà)或做出不同的面部表情，或做任何其他使面部變形的動(dòng)作時(shí)，血液會(huì)在面部周?chē)圆煌姆绞搅鲃?dòng)。當(dāng)血液移動(dòng)時(shí)，受試者臉部的顏色可能會(huì)因血流的變化而改變（例如，受試者的血液集中在皮下的位置）。該過(guò)程可包括訓(xùn)練階段和應(yīng)用階段。

第一階段包括根據(jù)使用攝影測(cè)量系統(tǒng)捕獲的血流圖像數(shù)據(jù)訓(xùn)練紋理自動(dòng)編碼器。拍攝對(duì)象的許多圖像都有不同的表情，這樣就可以獲得表情與面部血流顯現(xiàn)方式之間的基本真實(shí)數(shù)據(jù)?？梢酝ㄟ^(guò)從反照率圖中提取光照分量來(lái)確定血流量。反照率圖描述的是具有完美漫射光的臉部紋理，以及被攝體皮膚的靜態(tài)版本。

因此，提取的照明分量顯示了特定表情從反照率貼圖中偏移的位置。因此，紋理自動(dòng)編碼器可將主體的表情映射到二維血流紋理圖。在一個(gè)或多個(gè)實(shí)施例中，紋理自動(dòng)編碼器可將一系列表情視為輸入，從而生成特定的二維血流紋理圖。

第二階段包括利用二維血流紋理圖生成虛擬化身。例如，可以使用多通道渲染技術(shù)生成化身，在多通道渲染過(guò)程中，將二維血液紋理圖作為附加通道進(jìn)行渲染。

再比如，可以根據(jù)二維血液紋理圖將特定表情的血流紋理疊加到主體的三維網(wǎng)格上。

在本專(zhuān)利中，自動(dòng)編碼器指的是一種用于以無(wú)監(jiān)督方式對(duì)數(shù)據(jù)進(jìn)行分類(lèi)的人工神經(jīng)網(wǎng)絡(luò)。自動(dòng)編碼器的目的是以?xún)?yōu)化的形式學(xué)習(xí)一組數(shù)據(jù)的表示方法。經(jīng)過(guò)訓(xùn)練的自動(dòng)編碼器將具有編碼器部分、解碼器部分和潛變量，它們代表數(shù)據(jù)的優(yōu)化表示。

該專(zhuān)利涉及自然虛擬化身創(chuàng)建，可用于未來(lái)的iPhone、iPad、Mac 和蘋(píng)果Vision Pro。

圖源：patentlyapple

蘋(píng)果專(zhuān)利圖 2 顯示了網(wǎng)格和紋理自動(dòng)編碼器的訓(xùn)練流程圖；圖 5 顯示了利用血液紋理貼圖渲染虛擬化身的方法流程圖；圖 6 顯示了化身生成流程圖。

圖源：patentlyapple

蘋(píng)果專(zhuān)利圖 3 顯示了一個(gè)流程圖，其中訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，以提供表情和血流紋理之間的映射。

想了解更多專(zhuān)利詳情，請(qǐng)查閱蘋(píng)果公司的授權(quán)專(zhuān)利11830182。

來(lái)源：patentlyapple