【編譯 VR陀螺】6月29日消息，谷歌研究人員開發(fā)了一個端到端6DoF視頻系統(tǒng) ，它甚至可以通過(高帶寬)互聯(lián)網(wǎng)連接進(jìn)行流媒體傳輸。

眾所周知，360視頻可以帶觀看者身臨其境感受異國風(fēng)情或者奇幻世界，在這種場景下觀看者可以轉(zhuǎn)頭查看周圍的場景，但卻不能實際移動頭部往向前或向后的位置。這種體驗會讓觀看者覺得整個世界都被自己的腦袋鎖住了，這和真正身在某地是完全不一樣的。

谷歌的新系統(tǒng)將整個360視頻的堆棧、捕獲、重建、壓縮和渲染整個制作流程進(jìn)行了封裝，將其集中在一整套半自動化的全景拍攝系統(tǒng)中。該相機(jī)配備了46臺同步的4K相機(jī)，以每秒30幀的速度運行，每個攝像頭都配有一個“低成本”的丙烯酸弧形支架。由于丙烯酸是半透明的，它甚至可以作為取景器使用。

每臺相機(jī)的零售價為160美元，整機(jī)售價要比鉆井平臺的7000美元零售價還要略高。但是，聽起來這套系統(tǒng)所需要的價格很高，但是實際上如果你選擇這套原有系統(tǒng)的定制替代品，那么成本要低得多，其拍攝效果并不會大打折扣。希望從這一系統(tǒng)開始，6DoF視頻真正成為可落地的新技術(shù)被廣泛應(yīng)用。

使用這套系統(tǒng)進(jìn)行拍攝，結(jié)果是你會得到一個長220厘米、寬70厘米的“光場”環(huán)境——這也是觀看者頭部可以進(jìn)行6DOF移動的最大范圍。最終，360視頻的分辨率可以達(dá)到10像素/度，這意味著除了HTC Vive之外，任何現(xiàn)有的VR頭顯觀看都會有些模糊。就像所有的新生技術(shù)一樣，我們希望它會隨著時間的推移而改進(jìn)。

但真正令人印象深刻的是這套系統(tǒng)對于360視頻的壓縮和渲染。上述范圍的光場內(nèi)可以通過流暢的300mbit /sec互聯(lián)網(wǎng)連接來制作視頻后期。盡管這還是遠(yuǎn)遠(yuǎn)超過了平均網(wǎng)速，但現(xiàn)在大多數(shù)大城市都能夠提供這種帶寬。

它是如何工作的?

2019年，谷歌的人工智能研究人員開發(fā)了一種名為DeepView的機(jī)器學(xué)習(xí)算法。通過輸入同一場景的4張圖片，從不同的角度DeepView可以生成深度圖，甚至可以從任意的角度生成新的圖片。

這個新的6DoF視頻系統(tǒng)使用了改良版的DeepView。該算法使用一組球殼材質(zhì)代替2D平面來表示場景。通過一種新的算法將這個輸出重新處理為更小的shell數(shù)量。最后，這些球形圖層被轉(zhuǎn)換成一個更輕的“分層網(wǎng)格”，它從紋理圖集中采樣，以進(jìn)一步節(jié)省資源(這是游戲引擎中使用的一種技術(shù)，不同模型的紋理被存儲在同一個文件中，緊密地打包在一起)。

光場視頻仍然是一個新興的技術(shù)，處于早期階段。所以，短時間內(nèi)YouTube這種視頻平臺不會在不久的將來開始支持光場視頻。但顯然，這一發(fā)明對于VR內(nèi)容的發(fā)展是里程碑式的，這讓原始的360視頻變?yōu)榭纱鞯?DoF視頻，至少這現(xiàn)在已經(jīng)成為了被解決的問題。

隨著研究成果的發(fā)布，谷歌很快會將這套系統(tǒng)應(yīng)用在成型的產(chǎn)品之中，我們將密切關(guān)注這項技術(shù)。

來源：uploadvr