文/VR陀螺 豌豆

得益于虛擬現(xiàn)實(shí)技術(shù)以及人工智能和深度學(xué)習(xí)技術(shù)的快速發(fā)展，數(shù)字人在新聞傳媒、影視娛樂等領(lǐng)域快速普及。近期，虛幻引擎開發(fā)商Epic Games推出的工具M(jìn)etaHuman Creator備受關(guān)注。

MetaHuman Creator與現(xiàn)階段市面上常見的“捏臉”應(yīng)用不同，用戶可以基于近乎傻瓜式的交互方法，以極大自由度輕松快捷的創(chuàng)建獨(dú)一無二的高保真數(shù)字人類，即MetaHuman。用戶可以直接修改數(shù)字人的面部特征、調(diào)整膚色，甚至是編輯牙齒和瞳孔顏色這種細(xì)枝末節(jié)的部分。應(yīng)用支持導(dǎo)入第三方軟件（比如3D MAX、MAYA等）的模型文件，也可以直接選擇其內(nèi)部預(yù)設(shè)的體型、發(fā)型、服裝等。在完成快速角色設(shè)定后，可以將其導(dǎo)出并下載到虛幻引擎中制作動畫。

該工具可以在不犧牲質(zhì)量的情況下，將制作3D虛擬角色模型的時間由數(shù)周或數(shù)月大幅縮短至一小時內(nèi)，而且視覺上的渲染效果很逼真，細(xì)節(jié)動作也十分流暢。

圖源：Epic Games

MetaHuman Creator正式推出后，不少蠢蠢欲動的開發(fā)者們開始嘗試用這款軟件做一些有趣的事情。其中最為活躍的，要數(shù)Twitter上一個名為Matt Workman的開發(fā)者。

MetaHuman Creator+動作追蹤，數(shù)字人被玩出新花樣

Matt Workman時常在Twitter和YouTube分享一些關(guān)于數(shù)字人的實(shí)時demo演示。

在一段視頻中，Matt Workman展示了通過VIVE Tracker搭配Index的指虎手柄實(shí)現(xiàn)的實(shí)時數(shù)字人錄制效果。他更愿意將其數(shù)字人的VR遠(yuǎn)程控制稱為“Real Time Smart Puppet System”（ “實(shí)時智能人偶系統(tǒng)” ），而不是“Motion Capture System”（“運(yùn)動捕捉系統(tǒng)”），數(shù)字人在VR中能立即與數(shù)字環(huán)境進(jìn)行交互，這與運(yùn)動捕捉不大一樣。

實(shí)時智能人偶系統(tǒng)（圖源：Youtube）

通常，傳統(tǒng)的企業(yè)級動作捕捉系統(tǒng)，無法讓被捕捉者看到反饋效果，他們只能在一個區(qū)域里做動作，然后由另外一處的計算機(jī)顯示出監(jiān)看畫面。這需要至少兩人協(xié)作完成，以及至少兩臺以上的計算機(jī)實(shí)現(xiàn)顯示和捕捉計算。

MetaHuman Creator為虛擬社交建立了范例，即玩家/開發(fā)者能夠基于現(xiàn)有的捕捉設(shè)備和一臺計算機(jī)，完成執(zhí)行和實(shí)時監(jiān)控數(shù)字人的全部工作。他們可以基于虛幻引擎的智能系統(tǒng)實(shí)時看到反饋效果，這對于虛擬直播、虛擬演唱會等使用場景來說非常實(shí)用且成本低廉。

最主要的是，即使你只是站在原地做動作，虛幻引擎導(dǎo)入的MetaHuman Creator模型骨架也可以實(shí)現(xiàn)模擬行走、跑跳之類的動作。這種感覺就像是在家里玩一款VR跑酷游戲，數(shù)字人的上半身是真實(shí)的動捕反饋，而下半身的走動則可以通過AI實(shí)時生成。

動作捕捉（圖源：網(wǎng)絡(luò)）

正如上述，盡管企業(yè)級動作捕捉系統(tǒng)早已不是新鮮事，但這一領(lǐng)域尚未出現(xiàn)過MetaHuman Creator這類以如此簡潔的應(yīng)用實(shí)現(xiàn)高精度數(shù)字人動捕的案例，而之前的一些類似‘捏臉’軟件，與傳統(tǒng)的動作捕捉（影視、游戲級別）效果無法比擬，MetaHuman Creator的問世令二者之間的差距開始縮小。

對于像Matt Workman這樣善于運(yùn)用新科技工作的開發(fā)者而言，MetaHuman Creator就像是一把打開潘多拉寶盒的鑰匙。

圖源：Twitter

除了上述裝備，Matt Workman還曾展示過使用其他VR硬件——HTC的VIVE Pro-Eye頭戴設(shè)備并附帶唇部追蹤器VIVE Facial Tracker，這為他提供了在佩戴VR頭顯時將眼睛和嘴唇動作真實(shí)映射到數(shù)字人身上的硬件基礎(chǔ)。

演示視頻里，Matt Workman并沒有選擇對腿部和復(fù)雜的跑步動畫進(jìn)行追蹤——他更想在坐著或站著時使用數(shù)字人，并希望通過軟件計算來整合全身的基本運(yùn)動。他在另一個視頻中分享了一個新的實(shí)時追蹤demo：在沒有使用VR頭顯跟蹤的情況下，他的面部表情通過iPhone拍攝并實(shí)時呈現(xiàn)在數(shù)字人上。

State of the MetaHuman

視頻中他將胸部追蹤器轉(zhuǎn)移到背部上，把手肘上的追蹤器調(diào)整到手臂下方，這樣手臂就有了更多的移動空間。他還為Index Controllers添加了“移動”（"locomotion"）控制，這樣就可以輕松地在數(shù)字場景中重新定位數(shù)字人的位置。與此同時，他也使用了虛幻引擎的自帶插件ControlRig，讓數(shù)字人的動作更流暢。

據(jù)Matt Workman所說，以每秒60幀的更新速率來看，VR唇部追蹤器“在大多數(shù)情況下”可以更精確地運(yùn)行。如果選擇使用VR頭顯，還可以看到數(shù)字人直接位于其中的數(shù)字環(huán)境，提供了更真實(shí)的整體印象。

圖源：Unreal Engine

用手機(jī)實(shí)現(xiàn)數(shù)字人的動捕控制，這一出奇想法令Matt Workman的demo視頻迅速在各大論壇走紅。因?yàn)閹缀鯊膩頉]有人能通過一臺iPhone完成如此高精度的面部表情還原。

他是如何做到使用iPhone將自己的面部表情捕捉到數(shù)字人身上？我們需要先介紹一下由Epic Games推出的iOS應(yīng)用《Live Link Face》。

11步用iPhone實(shí)現(xiàn)人臉動作捕捉

Epic Games的虛擬視頻制片項(xiàng)目經(jīng)理Ryan Mayeda在視頻中介紹《Live Link Face》的追蹤功能是利用了蘋果的ARKit和iPhone的TrueDepth前置攝像頭，可以對用戶的面部進(jìn)行交互式追蹤，并通過Live Link直接將該數(shù)據(jù)從網(wǎng)絡(luò)發(fā)送到虛幻引擎中。

圖源：YouTube Unreal Engine

虛幻引擎要利用iPhone中的免費(fèi)應(yīng)用《Live Link Face》做到實(shí)時人臉捕捉，下載好應(yīng)用程序后，這里還需要激活主要的幾個插件：

Live Link：人臉捕捉數(shù)據(jù)是通過使用Live Link協(xié)議傳送的。

Apple ARKit、ARKit Face Support：能進(jìn)行人臉追蹤的功能。

Time Date Monitor：能可視化從蘋果手機(jī)傳入虛幻引擎的時間碼。

接下來就可以開始準(zhǔn)備錄制視頻了：

1.你需要準(zhǔn)備一個已經(jīng)綁定好一組面部骨架的角色，且這組骨架變形邏輯需要與ARKit面部識別生成的面部骨架變形邏輯相吻合。通常你需要在第三方綁定，以及在動畫工具（例如Autodesk Maya）中執(zhí)行此操作，然后將角色導(dǎo)入虛幻引擎。

2.在虛幻引擎中使用一個包含 Live Link姿勢（Live Link Pose） 節(jié)點(diǎn)的動畫藍(lán)圖來設(shè)置角色。在收到手機(jī)發(fā)送的動畫數(shù)據(jù)后，你將通過此節(jié)點(diǎn)將數(shù)據(jù)應(yīng)用到角色上。

3.獲取計算機(jī)的IP地址連接《Live Link Face》應(yīng)用程序。你通?？梢栽陔娔X的控制面板或設(shè)置中找到IP地址。

4.將手機(jī)和計算機(jī)連接到同一無線網(wǎng)絡(luò)；或使用以太網(wǎng)網(wǎng)線，通過Lightning以太網(wǎng)適配器將手機(jī)直接連接到計算機(jī)。

5.在iPhone上運(yùn)行《Live Link Face》應(yīng)用程序。在LiveLink設(shè)置頁面中點(diǎn)擊 添加目標(biāo)（Add Target），然后輸入計算機(jī)的IP地址。

圖源：Unreal Engine

6.在虛幻編輯器中，在主菜單中選擇 窗口（Window） > Live Link，打開 Live Link 面板。此時iPhone被列為主題；在角色的動畫圖表中找到 Live Link Pose 節(jié)點(diǎn)，將其主題設(shè)置為代表iPhone的主題。

7.在角色的動畫圖表中找到 Live Link Pose 節(jié)點(diǎn)，將其主題設(shè)置為代表iPhone的主題。

8.編譯（Compile） 并保存（Save） 動畫藍(lán)圖。

9.選擇角色。在“細(xì)節(jié)”（Details） 面板中，須啟用“骨架網(wǎng)格體”（Skeletal Mesh） 類別中的“在編輯器中更新動畫”（Update Animation in Editor）設(shè)置。

圖源：Unreal Engine

10. 返回《Live Link Face》，將手機(jī)攝像頭對準(zhǔn)你的臉部，直到應(yīng)用程序識別出人臉并開始追蹤你的臉部動作。

11. 當(dāng)你準(zhǔn)備要錄制表演時，請點(diǎn)擊《Live Link Face》應(yīng)用程序中的紅色錄制（Record）按鈕。這將開始在iPhone上錄制表演，并在虛幻編輯器中啟動鏡頭試拍錄制器，開始在引擎中的角色上記錄動畫數(shù)據(jù)。再次點(diǎn)擊錄制（Record） 按鈕停止錄制。

錄制好的視頻可以點(diǎn)擊《Live Link Face》左下角進(jìn)行預(yù)覽和分享。

《Live Link Face》還支持OSC（開源控制）協(xié)議，復(fù)雜的制片流程可以利用這一點(diǎn)，讓外部應(yīng)用來遠(yuǎn)程控制Live Link Face，實(shí)現(xiàn)諸如通過一次點(diǎn)擊或觸摸就讓多臺iPhone同時開始錄制的功能。

MetaHuman，未來已來

虛幻引擎向我們展示了不少優(yōu)質(zhì)的數(shù)字人案例，動作類游戲《地獄之刃》角色塞娜（Senua）、根據(jù)國內(nèi)演員姜冰潔的相貌制作的高保真數(shù)字人Siren，以及Andy Serkis和Mike Seymour等等。

這也說明數(shù)字人未來將有可能被更廣泛地運(yùn)用到游戲、影視、傳媒等領(lǐng)域。

圖源：Digital Domain

新世代的游戲角色和影視角色將會令用戶刮目相看，我們會發(fā)現(xiàn)越來越多的影視作品開始注重高仿真角色的塑造。影視角色的背后是利用了實(shí)時“動捕”技術(shù)的真人動作替身演員，而虛擬場景中的高保真數(shù)字人正將演員的全部表情和動作都還原出來，這樣的技術(shù)可能會對未來影視行業(yè)帶來巨大變革。

時間是影響到團(tuán)隊(duì)制片的重要因素，短時間內(nèi)實(shí)時制作高度逼真的角色面部表演將大幅提高制作效率。Digital Human Group發(fā)現(xiàn)，使用攝像機(jī)以非常高的分辨率捕捉面部動作不僅能返回更好的表演效果，還讓它們有機(jī)會運(yùn)用人工智能和深度學(xué)習(xí)使這一過程得到前所未有的改進(jìn)。

圖源：忍者理論

玩家也在追求游戲世界的高開放度和高保真度，近年來的3A游戲更是不斷追求接近真實(shí)的物理渲染和精細(xì)的全局光照。而對沉浸式VR游戲中的玩家來說這不僅是全新的體驗(yàn)，也會成為他們未來選擇游戲的一個關(guān)鍵點(diǎn)。

在未來游戲開發(fā)中，我們可能會看到在技術(shù)不斷進(jìn)步的情況下，硬件和軟件兩方面互相結(jié)合，相互進(jìn)步，不斷推動游戲產(chǎn)業(yè)發(fā)展。游戲的NPC或許會更加智能，表情和動作將更有真實(shí)感。

數(shù)字人臉非常容易產(chǎn)生所謂的“恐怖谷”效應(yīng)，只要他們的外觀稍有偏差，他們的面孔就會變得非常怪異僵硬。要制作以假亂真的數(shù)字人，面部捕捉技術(shù)方面的進(jìn)步就成為了關(guān)鍵。觀眾能夠本能地知道真人的面部肌肉、皮膚和眼睛動起來是什么樣的，這就使制作數(shù)字人面部動畫的過程顯得特別有挑戰(zhàn)性。

圖源：央視網(wǎng)

2021年兩會，在央視網(wǎng)特別策劃“兩會C+真探”系列直播節(jié)目中，虛擬小編小C“上崗”當(dāng)天就成功與全國人大代表梁倩娟進(jìn)行了線上直播對話，小C與梁倩娟代表的采訪全程自然，互動流暢，極大提升了連線采訪的趣味性。

高品質(zhì)的實(shí)時渲染結(jié)合人工智能驅(qū)動技術(shù)，改變了年輕受眾對傳統(tǒng)媒體的固有印象，也大大提升了兩會報道的科技感，數(shù)字人再度“破圈”。為新聞傳媒直播提供了全新的報道模式。

我們期待數(shù)字人技術(shù)能更加成熟，未來會陸續(xù)出現(xiàn)在更多領(lǐng)域。

參考來源：

https://www.unrealengine.com/zh-CN/spotlights/digital-domain-s-quest-to-craft-the-ultimate-digital-human

https://mixed.de/vr-metahuman-dieser-entwickler-digitalisiert-sich-selbst/