文/VR陀螺 Pancake

2018 年，一支別開(kāi)生面的 VR 游戲視頻風(fēng)靡全球，從此成就了一款現(xiàn)象級(jí)產(chǎn)品，它就是《Beat Saber》。直到現(xiàn)在《Beat Saber》仍然霸榜全球，單 Quest 平臺(tái)收入就超過(guò)了一億美元。

圖源：網(wǎng)絡(luò)

視頻中，玩家手持“光劍”，揮刀砍向迎面飛來(lái)的方塊，與游戲場(chǎng)景渾然一體融合其中。

VR 游戲的魅力在于切身體驗(yàn)到的沉浸感和全新的交互，然而，相比于線下的親身體驗(yàn)，線上視頻卻仍然是大部分用戶接觸到 VR 的核心途徑，此時(shí)，傳統(tǒng)現(xiàn)實(shí)人物和 VR 內(nèi)游戲畫(huà)面相互分裂的拼接視頻形式顯然無(wú)法傳達(dá) VR 的沉浸魅力，這也是《Beat Saber》現(xiàn)實(shí)人物和 VR 游戲畫(huà)面相互融合的混合現(xiàn)實(shí)拍攝 MRC 能一鳴驚人的原因所在。

從 2018 年 MRC 錄制工具開(kāi)始迭代，伴隨著 VR 硬件廠商 Meta 的加入，以及 LIV 等專業(yè)性工具的入局，MRC 視頻的制作門(mén)檻也在逐步減低，不再是專業(yè)性后期選手的專屬。

而到了 2022 年，我們看到國(guó)內(nèi) VR 廠商 PICO 也正式加入到這條賽道，推出了無(wú)需綠幕、基于手機(jī)的 MRC 視頻解決方案，再次拉低了行業(yè) MRC 視頻的制作門(mén)檻。

 全球巨頭探索 MRC 視頻拍攝 

依靠綠幕或藍(lán)幕的虛擬現(xiàn)實(shí)混合拍攝在影視制作行業(yè)幾乎是標(biāo)配，特別是在需要進(jìn)行虛實(shí)融合特效制作、動(dòng)畫(huà)電影拍攝時(shí)，制作團(tuán)隊(duì)幾乎都會(huì)采用綠幕+動(dòng)作捕捉的方式，如今也有一部分采用 LED 屏幕代替綠幕背景，來(lái)實(shí)現(xiàn)虛擬拍攝的方案。

影視制作當(dāng)中的虛擬拍攝，是為了實(shí)現(xiàn)更好的虛實(shí)融合特效，以及降低傳統(tǒng)制作成本，更具定制化的故事情節(jié)；而目前 VR 領(lǐng)域中興起的 MRC 視頻拍攝則是基于熱門(mén)的游戲場(chǎng)景，更好地表現(xiàn) VR 游戲的沉浸魅力，吸引玩家。為了實(shí)現(xiàn)更低門(mén)檻、低成本的 MRC 拍攝方案，全球諸多頭部企業(yè)都進(jìn)行了積極的探索。

（一）Meta：綠幕+實(shí)時(shí)串流，較高成本的MRC視頻制作

Meta 是 VR 行業(yè)龍頭企業(yè)，它也是最早探索基于 VR 頭顯的 MRC 視頻制作的廠商。早在 2019 年的開(kāi)發(fā)者大會(huì) Oculus Connect 6 上，Meta 就展示了其混合現(xiàn)實(shí)捕捉工具（Mixed Reality Capture Tool，簡(jiǎn)稱 MRC）。

官方的 MRC 展示視頻中，效果十分震撼，不僅虛實(shí)畫(huà)面實(shí)時(shí)同步，而且人物在虛擬場(chǎng)景摳像十分清晰，接觸邊緣也無(wú)噪點(diǎn)和模糊處。

圖源：網(wǎng)絡(luò)

如此精美的 MRC 視頻，當(dāng)然也需要制作者付出更高的代價(jià)。據(jù) Meta 官方介紹，Meta 的 MRC 視頻制作，需要使用 MRC 工具，還要使用分發(fā)軟件（OBS）進(jìn)行拍攝。

與之進(jìn)行配合的硬件還包括：具備獨(dú)顯功能的游戲級(jí)個(gè)人電腦，接入個(gè)人電腦的外置攝像頭，一臺(tái) Meta 的 VR 頭顯以及綠幕背景。

雖然 Meta 的 MRC 存在一定學(xué)習(xí)成本、時(shí)間成本和配置要求，但相對(duì)于傳統(tǒng)“純后期摳圖”的視頻制作形式，Meta 在工作流程上進(jìn)行了大幅度精簡(jiǎn)，開(kāi)創(chuàng)了早期基于 VR 頭顯的第一方 MRC視頻制作的先河。

（二）LIV：PC+手機(jī)雙端，玩法多樣的第三方MRC

相對(duì)于 Meta 提供的基于 PC 的 MR 視頻制作解決方案，第三方平臺(tái) LIV 的解決方案則更加具備靈活性，它支持 PC 和手機(jī)雙端，并且在深度機(jī)器學(xué)習(xí)的加持下，無(wú)論用戶是否有綠幕，皆可進(jìn)行 MRC的視頻拍攝。

另外，LIV 在 PC 端不僅僅支持 MRC 視頻拍攝，還支持 MRC 視頻直播、自定義 Avatar 類型的 MR 視頻等。

LIV官網(wǎng)

與 Meta 一樣，LIV 在 PC 端效果突出，并且操作更簡(jiǎn)單，僅需從 Steam 平臺(tái)上下載 LIV 即可解決軟件端的所有問(wèn)題。

不過(guò)基于 PC VR 內(nèi)容的 LIV 也提出了更高的 PC 配置要求——至少英偉達(dá) GTX 1060 或 6GB 同檔位的獨(dú)立顯卡，8GB DDR3、英特爾 i5 處理器、固態(tài)硬盤(pán)。

LIV 還支持手機(jī)端的配置，它需要在手機(jī)端上安裝 LIV ，以及在 Quest 頭顯上安裝 LIV Connect 應(yīng)用。安裝完所有內(nèi)容后，Quest 上的 LIV Connect 應(yīng)用會(huì)提醒用戶通過(guò)快速校準(zhǔn)進(jìn)行調(diào)整。

圖源：網(wǎng)絡(luò)

完成后，LIV 應(yīng)用可以顯示特定 Quest 游戲的混合現(xiàn)實(shí)視圖，其中會(huì)顯示玩家被疊加在虛擬世界的第三人稱視角視圖上。不過(guò)，根據(jù)網(wǎng)上測(cè)試的基于 LIV 的 MRC 視頻來(lái)看，其摳像效果表現(xiàn)較為一般，主要是在人體邊緣部分可能會(huì)出現(xiàn)模糊，邊緣溢色的問(wèn)題。

也許這就是從 2020 年 LIV 首次推出手機(jī)版本至今，它依舊在官網(wǎng)處于“實(shí)驗(yàn)室功能”的位置的原因之一。當(dāng)然，相信伴隨著深度學(xué)習(xí)算法的提升，軟件內(nèi)容的進(jìn)一步配合，MRC 效果未來(lái)也會(huì)逐步改進(jìn)。

 PICO：無(wú)綠幕+智能手機(jī),更低門(mén)檻的 MRC 制作方案 

2022 年， PICO 也正式推出了其官方的 MRC，在提升效果的同時(shí)進(jìn)一步降低了使用門(mén)檻。

官方教程顯示，只需讓 VR 一體機(jī)與智能手機(jī)處于同一局域網(wǎng)下，再通過(guò)手機(jī)端的“PICO VR 助手”APP 點(diǎn)擊“混合現(xiàn)實(shí)錄制”，按照官方提示，經(jīng)過(guò)簡(jiǎn)單的頭顯與手機(jī)校準(zhǔn)，即可實(shí)現(xiàn) MR 視頻的錄制。

圖源：VR陀螺

PICO 的 MRC 沒(méi)有 Meta Quest 那樣復(fù)雜的 PC 環(huán)境配置，只需一部智能手機(jī)即可，與 LIV 的手機(jī)端錄制功能一樣，PICO 的 MRC 不需要綠幕（同時(shí)也有綠幕模式，使用綠幕模式拍攝效果更好），并且不需要在手機(jī)端安裝額外的工具，也不受英語(yǔ)以及網(wǎng)絡(luò)的限制，對(duì)于國(guó)內(nèi)用戶來(lái)說(shuō)，使用門(mén)檻更低，拍攝效果更好。

事實(shí)上，PICO 的 MRC 從推出至今，在小半年的時(shí)間里也歷經(jīng)了兩次的迭代和優(yōu)化，作為第一批體驗(yàn)到 MRC 的用戶，陀螺君也看到了 PICO 在 MRC 上進(jìn)步，包括支持更多的手機(jī)型號(hào)和更多 VR 內(nèi)容適配。

圖源：VR陀螺

在第一代的版本中，PICO MRC 僅支持在 iPhone X 及更新版本的蘋(píng)果手機(jī)中使用，而現(xiàn)在它同時(shí)也擴(kuò)展到了安卓機(jī)型當(dāng)中。不過(guò)，由于實(shí)時(shí)摳圖對(duì)性能要求較高，手機(jī)性能會(huì)在一定程度上影響摳圖效果。

目前 PICO 的 MRC 已支持在八款主流熱門(mén)游戲中使用，包括《多合一運(yùn)動(dòng)VR》、《瘋狂功夫》、《超燃一刻》、《方寸幻境》、《VFC格斗家》、《Histream》、《動(dòng)感音旅》、《水果忍者》，更多作品在陸續(xù)適配中。

圖源：PICO

從實(shí)際畫(huà)面效果來(lái)看，PICO 用手機(jī)結(jié)合 AI 算法摳圖所實(shí)現(xiàn)的效果，邊緣清晰可見(jiàn)，并且?guī)缀蹩床怀鲆缟?，堪比專業(yè)級(jí)摳圖效果。

 PICO MRC背后原理揭秘：AI摳圖+無(wú)線投屏 

之所以 PICO 的 MRC 能夠?qū)崿F(xiàn)如此好用的拍攝效果，據(jù) VR陀螺了解，其主要依賴于多項(xiàng)技術(shù)創(chuàng)新以及背后字節(jié)的技術(shù)中臺(tái)提供的強(qiáng)大的摳圖技術(shù)以及無(wú)線投屏能力的幫助。

一方面，PICO 利用了深度學(xué)習(xí)摳圖模型，將人物從物理環(huán)境中摳出并且疊加到虛擬游戲空間中?；旌犀F(xiàn)實(shí)錄制摳圖模型不僅可以摳人，也可以摳 VR 頭顯和手柄，是對(duì) VR 場(chǎng)景下做的特別優(yōu)化。

圖源：VR陀螺

AI 深度學(xué)習(xí)的摳圖模型，讓 PICO VR 實(shí)現(xiàn)了不用綠幕也能拍出虛實(shí)融合的 MR 視頻效果，而且其“虛實(shí)疊加”的顯示效果極具層次感，非一般的后期剪輯可比。當(dāng)然，PICO 也支持“綠幕模式”拍攝，在增加背景綠幕等顯著顏色背景之后，通過(guò)實(shí)時(shí)自動(dòng)合成渲染的方式，可以大幅提升摳圖和視頻整體效果。

另一方面，在手機(jī)端實(shí)時(shí)顯示的“虛實(shí)疊加”混合現(xiàn)實(shí)視頻，背后則是其強(qiáng)大的“無(wú)線投屏”技術(shù)，它需要將 VR 頭顯內(nèi)實(shí)時(shí)顯示的“虛擬畫(huà)面”通過(guò) WIFI/蜂窩網(wǎng)絡(luò)同步輸出到手機(jī)端，這對(duì)于帶寬網(wǎng)絡(luò)環(huán)境和 PICO VR 頭顯內(nèi)的實(shí)時(shí)錄屏傳輸技術(shù)都提出了苛刻的要求。

圖源：VR陀螺

摳圖+投屏，成就了 PICO 的混合現(xiàn)實(shí)錄制功能，看似簡(jiǎn)單明了的技術(shù)融合背后，卻是一個(gè)業(yè)內(nèi)不可忽視的創(chuàng)新之舉，它帶來(lái)了更低門(mén)檻的 MR 視頻制作。

目前官方也正在將該 MRC 制作方法申請(qǐng)作為發(fā)明專利。天眼查顯示，今年 10 月份北京字跳網(wǎng)絡(luò)技術(shù)有限公司專利“視頻錄制方法、裝置、設(shè)備及介質(zhì)”正式公開(kāi)，申請(qǐng)公開(kāi)號(hào)為 CN115150555A，根據(jù)其摘要說(shuō)明正是指代目前應(yīng)用于 PICO VR 上的混合現(xiàn)實(shí)視頻制作，可以優(yōu)化 VR 頭戴設(shè)備的實(shí)時(shí)性能消耗，避免畫(huà)面顯示卡頓和幀率下降的風(fēng)險(xiǎn)，使得用戶的體驗(yàn)沉浸感更強(qiáng)，拍攝出來(lái)的畫(huà)面也更流暢。

雖然 PICO VR 目前的混合現(xiàn)實(shí)錄制在算法摳圖上仍有需要完善的細(xì)節(jié)，但是相比于傳統(tǒng)的 MR 視頻，在制作流程、制作時(shí)間、技術(shù)要求上都降低了不少。PICO 混合現(xiàn)實(shí)錄制工具的最大的亮點(diǎn)莫過(guò)于拋棄了以 PC 端為陣地核心的玩法，以無(wú)線網(wǎng)絡(luò)為介質(zhì)，將智能手機(jī)的便攜性和普及性價(jià)值最大化呈現(xiàn)。

 低門(mén)檻MRC視頻制作, 激活VR商業(yè)生態(tài)循環(huán) 

MRC 視頻是一種極具科幻氣息的內(nèi)容展現(xiàn)形式，在 5G 大流量時(shí)代，短視頻時(shí)代，可以給到內(nèi)容創(chuàng)作者、VR 開(kāi)發(fā)商和 VR 硬件廠商連環(huán)正向效應(yīng)。

國(guó)產(chǎn)化“混合現(xiàn)實(shí)錄制”工具的出現(xiàn)，可以讓更多視頻博主加入到 MRC 視頻拍攝的隊(duì)伍中來(lái)，豐富 UGC 視頻內(nèi)容創(chuàng)作，憑借差異化的內(nèi)容，也能贏得更多流量關(guān)注。

并且，透過(guò) MRC 視頻，VR 內(nèi)容開(kāi)發(fā)商們也能讓更多 C 端用戶接觸到自家內(nèi)容的創(chuàng)新性和趣味性，讓 MRC 視頻成為 VR 內(nèi)容的最佳傳播介質(zhì)，從而提高產(chǎn)品銷量和品牌影響力。據(jù)悉，VR 內(nèi)容開(kāi)發(fā)商只需在軟件內(nèi)集成對(duì)應(yīng) SDK，即可讓自家 VR 軟件支持 PICO MRC。

圖源：VR陀螺

而作為 MRC 的提供者和 VR 內(nèi)容的承載平臺(tái)，PICO VR 也可以借助 MRC 視頻的傳播，吸引更多玩家和三方內(nèi)容創(chuàng)作者，助推其 VR 硬件市場(chǎng)的增長(zhǎng)。

并且筆者大膽推測(cè)該功能在未來(lái)也可以更好地聯(lián)動(dòng)抖音集團(tuán)旗下其他移動(dòng)端產(chǎn)品，如視頻剪輯軟件“剪映”，短視頻平臺(tái)抖音等，形成從硬件終端、軟件工具、內(nèi)容宣發(fā)的完整閉環(huán)生態(tài)，發(fā)揮抖音的大流量平臺(tái)機(jī)制，達(dá)到提高 PICO 市場(chǎng)品牌知名度和助推 VR 一體機(jī)市場(chǎng)提升的效果。

 結(jié)語(yǔ) 

MRC 的可拓展性很強(qiáng)，未來(lái)或許并不局限于“混合現(xiàn)實(shí)視頻”制作，在 MRC 視頻的基礎(chǔ)上，還能進(jìn)一步利用純視覺(jué)全身動(dòng)捕等技術(shù)，將真人自定義為 Avatar，從而創(chuàng)作個(gè)性化 MRC 視頻；此外，通過(guò)在線流媒體技術(shù)，實(shí)現(xiàn) MR 直播，在 VR 中與用戶互動(dòng)，創(chuàng)新傳統(tǒng)直播形式也是未來(lái)的發(fā)展趨勢(shì)之一。

MRC 虛實(shí)融合視頻創(chuàng)作工具的推出，將大幅改變 VR 內(nèi)容傳播效率與效果，為全球 VR 終端普及帶來(lái)重要價(jià)值。期待未來(lái)的 MRC 功能不斷拓展，VR 內(nèi)容生態(tài)更加豐富，中國(guó) VR 產(chǎn)業(yè)邁向更高的階梯。