這是一件關(guān)系到我們所有人的事情：討論天氣。近年來，在這方面可供討論的話題似乎越來越多了，既有猛烈的颶風(fēng)和創(chuàng)記錄的高溫，也有引發(fā)洪水的大雨和肆虐的山火。

The Weather Channel電視網(wǎng)為美國(guó)觀眾提供專業(yè)的天氣預(yù)報(bào)和分析已有近40年之久。最近這家公司希望找到吸引和教育觀眾的新方式，它在2018年與The Future Group共同創(chuàng)作了關(guān)于閃電和龍卷風(fēng)的沉浸式混合現(xiàn)實(shí)特別節(jié)目，當(dāng)年晚些時(shí)候又制作了關(guān)于風(fēng)暴潮和山火的節(jié)目。

這些一次性播出的節(jié)目具有極強(qiáng)的沉浸感，因此吸引了新聞界的大量報(bào)道，而它們讓觀眾真切理解危險(xiǎn)天氣的作用也廣受好評(píng)——其中一檔節(jié)目甚至贏得了艾美獎(jiǎng)。但是，它們都要花費(fèi)大量時(shí)間來策劃和編排，而且雖然運(yùn)用了虛幻引擎提供的實(shí)時(shí)渲染功能，卻不能實(shí)時(shí)播出：它們都是在播出前幾個(gè)小時(shí)錄制的，還要經(jīng)過后期剪輯。

如果The Weather Channel能把沉浸式混合現(xiàn)實(shí)（IMR）放進(jìn)他們每天的預(yù)報(bào)中，又會(huì)怎樣？以此為目標(biāo)，在2020年6月2日，這家電視臺(tái)首次推出了新的IMR天氣演播室。

虛擬環(huán)境會(huì)發(fā)生改變來反映主題，例如，如果颶風(fēng)臨近就會(huì)變成海濱，如果主題是面向滑雪者的雪情預(yù)報(bào)就會(huì)變成山地。為了讓演播室中顯示這些環(huán)境，有一個(gè)團(tuán)隊(duì)負(fù)責(zé)從遍及全國(guó)的50個(gè)關(guān)鍵地點(diǎn)拍攝HDR影像。

“這種工具有不可思議的價(jià)值，它幫助我們強(qiáng)化了講故事的能力。”The Weather Channel的天氣演示總監(jiān)Mike Chesterfield說，“大家非常欣賞這些內(nèi)容——他們會(huì)感到自己身臨其境，因?yàn)檫@真是太逼真了。”

這個(gè)演播室還利用實(shí)時(shí)天氣數(shù)據(jù)驅(qū)動(dòng)3D圖表和條形圖，甚至能在虛擬城市上展示一系列動(dòng)畫3D混合現(xiàn)實(shí)天氣元素——雨、云、太陽、閃電等——來播出七天預(yù)報(bào)。用戶只要點(diǎn)擊一個(gè)按鈕就能調(diào)出一個(gè)100英尺的顯示屏，或者借助一個(gè)巨大的3D虛擬地球，真正展示全球范圍的天氣系統(tǒng)。

“這是我第一次在美國(guó)的信息網(wǎng)絡(luò)中看到真正實(shí)用的全日制虛擬演播室投入使用。”Chesterfield說，“我們正在做全新的天氣預(yù)報(bào)工作，而且都是實(shí)況直播。”

幕后揭秘：技術(shù)考察

這家電視臺(tái)負(fù)責(zé)將各種實(shí)時(shí)元素集成到虛擬環(huán)境中的資深技術(shù)美術(shù)Warren Drones解釋了這一切是如何實(shí)現(xiàn)的。

在這個(gè)演播室的流程中，有一套使用攝像機(jī)和綠幕布景的傳統(tǒng)廣播設(shè)置，而與它同時(shí)運(yùn)行的是Zero Density的Reality Engine¹和Reality Keyer²，前者是一種基于虛幻引擎的實(shí)時(shí)廣播合成系統(tǒng)，后者被Zero Density稱為全世界第一種也是僅有的一種在GPU上工作的基于圖像的實(shí)時(shí)摳像器³。色度摳像是對(duì)整個(gè)背景假設(shè)一種顏色值，而基于圖像的摳像是將拍攝的視頻與空背景對(duì)比，從而能夠保留微妙的透明度細(xì)節(jié)和陰影。

為了給移動(dòng)的攝像機(jī)創(chuàng)建空背景，Reality Keyer提供了創(chuàng)建綠幕大風(fēng)景畫幕背景的虛擬版本的功能，將拍攝的實(shí)體綠幕布景的影像映射到這個(gè)數(shù)字化副本上。然后將來自攝像機(jī)的跟蹤數(shù)據(jù)（這家電視臺(tái)使用Mo-Sys?系統(tǒng)）輸入這個(gè)節(jié)點(diǎn)中，使系統(tǒng)能夠?yàn)槊恳粠嬅鎰?chuàng)建空背景。

虛擬演播室的靜態(tài)元素主要是根據(jù)先前的實(shí)體演播室繪制的；事實(shí)上，團(tuán)隊(duì)掃描了各種實(shí)體素材以確保完美吻合。道具在3ds Max中創(chuàng)建，并通過FBX導(dǎo)入虛幻引擎中。對(duì)于環(huán)境元素，團(tuán)隊(duì)使用大型的高質(zhì)量2D庫(kù)和3D Quixel Megascans?，后者現(xiàn)已能夠在虛幻引擎中免費(fèi)使用。

視覺特效美術(shù)師在虛幻引擎的Niagara視覺特效系統(tǒng)?中創(chuàng)建雨、雪、火、水等效果。動(dòng)畫由Sequencer?多軌道非線性編輯器驅(qū)動(dòng)。通過API導(dǎo)入的實(shí)時(shí)天氣數(shù)據(jù)用于驅(qū)動(dòng)3D圖表，甚至能使環(huán)境中降雨或太陽被云遮擋。

團(tuán)隊(duì)廣泛使用了藍(lán)圖可視化腳本系統(tǒng)?來編寫行為、腳本邏輯和觸發(fā)器事件。例如，在導(dǎo)演的指示下可以一鍵重新配置整個(gè)布景——而且實(shí)時(shí)播出。導(dǎo)演們還可以更改光照，切換到不同的饋送源，轉(zhuǎn)到新的機(jī)位等，這些操作都是實(shí)時(shí)進(jìn)行的。

據(jù)Drones說，實(shí)時(shí)虛擬廣播改變了制作的面貌。與過去的做法相比，這種最新的虛擬內(nèi)容制作方法更有挑戰(zhàn)性，但同時(shí)也帶來了吸引觀眾的即時(shí)感。 

“提供信息的敘事最好是以實(shí)時(shí)的方式進(jìn)行。”他說，“你會(huì)希望演藝人員在提供最新信息的同時(shí)帶有真正的即時(shí)反應(yīng)，從而引起觀眾共鳴。預(yù)先錄制的視覺內(nèi)容限制了提供實(shí)時(shí)敘事的能力，這樣就無法保持圖像的相關(guān)性。我們新的實(shí)時(shí)虛擬演播室消除了這種限制。”

Drones在看過虛幻引擎5公布會(huì)后，對(duì)混合現(xiàn)實(shí)廣播的未來更是充滿激情。

“我被它驚呆了。”他說，“隨著時(shí)間推移，開發(fā)與3D圖形之間的門檻正在逐漸消失，但我認(rèn)為在近期，其他任何軟件為消除這種門檻所做的貢獻(xiàn)都比不上虛幻引擎。虛幻5的公布無可辯駁地證明了這一點(diǎn)，我非常希望能聽到更多關(guān)于它的消息。”

  第一時(shí)間了解XR資訊  

  關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）