編譯/VR陀螺 云吞
自結束智能手機業(yè)務后,諾基亞便一直在尋找新的商機。在幾年的調研后,來自芬蘭的公司決定進軍VR 360度相機領域。
諾基亞在今年三月發(fā)布了當時售價6萬美元的OZO相機,并且在8月把價格降低到了4.5萬美元。目前,該產(chǎn)品已經(jīng)在多個市場開始發(fā)售,公司也在不斷推出軟件和服務來滿足剛剛興起的VR相機行業(yè)。
我們在加州硅谷的諾基亞研發(fā)基地與Guido Voltolina,OZO的領頭人進行了一次訪談。Voltolina介紹了OZO在動作捕捉和同時處理數(shù)據(jù)方面的強大優(yōu)勢,并且談到了公司接下來在VR方面的拓展計劃。
(Q- VENTUREBEAT A- Voltolina)
Q:能否談一下您為何決定制作OZO VR相機?
A:其實這個項目和部門的名稱叫做“存在捕捉(Presence Capture)”。早在Facebook還沒有收購Oculus之前,我們就已經(jīng)注意到VR正在到來。顯而易見的是,VR的一部分將會是基于計算機的體驗,如VR游戲。但我們當時想到:“如果VR變成一種新的媒介,那么就不僅僅是計算機體驗這么簡單。人么你會想要去捕捉一些東西,包括他們自己、他們的生活以及改變世界的事情?!?
我們必須考慮究竟是什么設備能夠盡可能多的收集數(shù)據(jù),然后重現(xiàn)VR讓我們沉浸的那種真實的感覺。我們現(xiàn)在仍然可以看到2D 360度圖像,但這幾乎是我們在制造“真實存在于那里”的3D視聽效果時的一個“副作用”。
我們的團隊開始按照這個想法建造設備。我們設計了一款一體的產(chǎn)品,而不是像許多人那樣把許多照相機集成在一個架子上。OZO不是一臺好的2D相機,但絕對是一臺出色的VR相機。整個相機的外形最終看起來像一個頭蓋骨,上面的攝像頭分布與人類的瞳距相似。相機有八個攝像頭,每個攝像頭所能拍攝的范圍都有很大的重疊。我們能夠為左右眼分別捕捉兩層像素,并且完全符合你的瞳距。許多相機集成架上的攝像頭距離隔得太遠,放在VR中會使得物體看起來很大。
在這套方案出來后,我們又安裝了八個麥克風,使得拍攝時聲音也可以被同步收錄。通常情況下,如果我聽到那個角落傳來聲音我會下意識的轉身。而在OZO上,我們能夠做到當聲音傳來時,攝像頭可以轉動確切的角度來面向聲音,盡管相機的后部并沒有攝像頭。我們?yōu)橄鄼C集成了3D音效和3D視頻,因為真正的沉浸感需要這兩個因素。
當你觀看2D電影時,導演執(zhí)導你正在看著屏幕,因此能夠通過切換鏡頭來表現(xiàn)劇情的發(fā)展,或者根據(jù)對話的進度來拉近或拉遠鏡頭。而在VR中,聲音是吸引你注意到不同地方或人物的關鍵。
OZO的基本概念是捕捉現(xiàn)場的活動。人們可以去到平時因為各種原因無法去到的地方。就像如果埃及的金字塔被摧毀了,我們就再也去不了了。但是如果有關于金字塔的VR影像的話,我們就可以像在現(xiàn)實中一樣參觀它們。你也可以把他看做一臺回到過去的時光機。你可以捕捉一個事件并且經(jīng)常性的重復感受它們。也許20年后你的兒子和女兒可以像你一樣再一次感受今年的感恩節(jié)晚餐。
Q:您為什么認為這是一個好的決定?
A:這就跟照片和視頻技術的發(fā)展一樣。一開始黑白照片只對一小部分人普及。富裕的家庭每年都能拍攝一次全家福。但是現(xiàn)在,我們每個人的手機上都有一個高分辨率的攝像頭。視頻出現(xiàn)之后,人們就會花錢雇人來拍攝整個婚禮的過程。然后家用錄像和數(shù)碼相機誕生了,但是它們相互之間并沒有取代。照片并沒有取代文字,視頻并沒有取代照片。我們仍然發(fā)短信,仍然分享照片,仍然在Youtube上傳視頻。我們用不同的媒體來記錄不同的事情。
VR只是另一種媒體。作為一個新媒體來說,我們關注如何用VR來捕捉現(xiàn)實生活。同時我們也要考慮如何傳送視頻和輸出視頻的技術。OZO誕生之后我們又制作了OZO Live和OZO Player。我們將這些軟件授權給視頻制作公司,讓他們可以制作他們自己的高質量的VR播放器,或者流媒體直播OZO拍攝的視頻。
舉個例子。我們正在奧斯汀城的一場音樂會上。一個制作公司在舞臺的四周擺放了8臺OZO。這就是我們最開始的目標——演唱會第一排的體驗很棒,但是我想去普通人去不到的地方。我想去到舞臺上,站在Mick Jagger或者誰的旁邊。在現(xiàn)實生活中你是沒有辦法做到的,無論你愿意花費多少錢。
Q:OZO和其他的360度相機有什么不同?Facebook也推出了一款類似相機。
A:目前VR拍攝大部分的解決方案都是多臺相機結合,每一臺都需要固態(tài)硬盤卡和電線。因此如果是25臺相機的話,就會有25張固態(tài)硬盤卡、當你拍攝時,你沒有辦法看到你拍了些什么。只有在輸出所有視屏并且后期剪輯之后你才能看到成品。
OZO最大的不同點就是盡管它有8個攝像頭,但是我們制作了一個中控系統(tǒng)來實時處理和合并所有的數(shù)據(jù)。OzO在輸出時僅僅用一根數(shù)據(jù)線輸出到你的文件夾里或者你的頭盔里。你能夠實時看到和調整相機正在拍攝的東西。對于VR相機來說,能夠看到相機正在拍攝的東西就是關鍵的不同點。
OZO的另外一個特點是,它是一臺獨立的、用電池供電的設備,并且僅僅用了一張固態(tài)硬盤卡。你可以把它裝在無人機上、汽車上進行拍攝,十分的靈活。整個相機只有一個人頭般大小,而圓滑的設計是一個很大的有點。一些可以安裝16個或25個相機的架子顯得太大了。
如果你想要捕捉不同場景下的景象時,你可能會用一個安裝了16個相機的架子。但是如果你需要更多的相機怎么辦?并且其中的相機很有可能會出故障。你對相機數(shù)量的需求越大,出故障的可能性也越大。
Q:OZO的售價是多少?
A:每個OZO賣4.5萬美元。它的首創(chuàng)性是推動價格增長的重要因素。相機一直以來被認為是單鏡頭的、只有一個傳感器的。所有的零件能夠讓你擁有很好的分辨率,但只有一個傳感器。當你將8個攝像頭合成在一起,SOC芯片要協(xié)調所有的傳感器,而這樣一個理論上的系統(tǒng)是不存在的。我們不得不創(chuàng)造了一個FPGA(現(xiàn)場可編程門陣列)來處理這種情況。相機可以以每秒30幀的速率同步合成2K乘2K的視屏,這一數(shù)據(jù)速率是龐大的。目前并沒有一種附件可以在承擔得起的數(shù)量下實時編碼8個流數(shù)據(jù)。
在傳感器方面,我們采用了正方形傳感器,因為從算法上來說這是對魚眼鏡頭最優(yōu)的。目前大部分傳感器都是長方形的,這會使得許多傳感器根本不會被用到。我們也需要所有的圖片被充分合成。如果有許多滾動快門的話,曝光后的同步率是永遠達不到100%的。你會得到8張不同的圖片,在重疊時沒有辦法完全匹配。我們必須使用全局快門,使用的人不多并且更加昂貴。
所有的鏡頭都是定制的,因為相機的算法之前并不存在。所有的配件幾乎都是為了最終的拍攝目的而創(chuàng)造的。正是因為之前沒有人使用過,這些配件就顯得格外昂貴。
Q:如果相機以這個價格出售的話,目前會有什么樣的買家呢?
A:我們今年二月起在北美開始銷售OZO?,F(xiàn)在我們已經(jīng)拓展到了全球,包括歐洲和中國。我們主要的客戶是已經(jīng)在制作VR內容的工作室。當他們看到OZO時,立馬就明白了它的強大之處。這臺相機很貴,但它能夠節(jié)省下來的時間,特別是在拼接和后期制作階段,是完全劃得來的。
你可以想象,當你用分別的相機拍攝時,你根據(jù)一臺相機的位置調整了演員的位置,然后用另一臺相機繼續(xù)拍攝,而且最后才可以看到底拍了些什么。如果要重新拍的話,需要花費的金錢是巨大的。
目前VR體驗主要來自于電影的附加市場。這可能是某一部電影的VR版本,或者VR版的廣告。而直播的工程是很大的,我們每周都能看到有人在實驗VR直播。我們剛剛結束在中國直播草莓音樂節(jié)。
Q:目前來看哪一種模式比較受歡迎?直播還是錄播?
A:這取決于影片的主角是誰。是不是直播并不是很重要,重點是明星是誰。我們曾經(jīng)直播過《愛麗絲夢游仙境》的首映禮,歌手Pink在首映禮上進行了現(xiàn)場演唱。當然這吸引了很多觀眾。我們也和OneRepublic合作了一首新單曲的MV,他們發(fā)布了2D的MV然后又推出了VR版。這不是直播,但是在社交網(wǎng)站上,粉絲們都很激動能夠以不同的角度來觀看VR。粉絲們可以通過一遍又一遍的觀看來發(fā)現(xiàn)新的東西。
另一個非常受歡迎的是電影《彼得的龍》VR版。在這個過程中你可以像真的一樣騎在一條龍上飛翔。你可以看到周圍的翅膀和尾巴。這個視頻就像一場空中飛行一樣。你可以飛過新西蘭。而你騎在一條龍上對于許多粉絲來說都是極大的吸引。因此故事和故事里的角色是很重要的,如果有明星的話就會更好。
Q:您下一步打算做什么?是否有一份計劃書?
A:下一步將會有兩個方向。一是完善我們的解決方案。如果數(shù)據(jù)量越來越大的話,我們就需要更加高效的傳輸這些數(shù)據(jù)。去年是Cardboard的一年。而今年我們見證了第一臺Oculus和HTC頭顯的上市。更多的更加清晰的設備將會不斷上市。沉浸感的程度也在不斷上升。
同時,至少了解2D 360度視頻的人數(shù)也在上升。這給了我們發(fā)展沉浸式VR的動力。我們目前的想法是大力發(fā)展OZO Live和OZO Player。
Q:所以會提高分辨率嗎?
A:當然是分辨率,但總體上來說還是質量。我們總是說分辨率是因為這樣描述質量比較通俗易懂,但是很多時候分辨率已經(jīng)高到肉眼無法分辨。視覺質量正在不斷提升,拼接質量也是如此。我們已經(jīng)發(fā)布了3個版本的OZO Creator軟件,可以讓你進行高質量的3D拼接。
另外一個領域是用多個OZO進行現(xiàn)場直播。我們會支持超過一個相機的VR視頻制作,還會和講解相結合,或者在不同的地方視頻制作等等。
Q:價格有可能降下來嗎?
A:我們一開始的售價是6萬美元,夏天時已經(jīng)降到了4.5萬美元。這是因為最開始幾個月我們生產(chǎn)最早一批機器時,我們不確定能不能為全世界大規(guī)模生產(chǎn)。我們決定從北美開始試水,看相機能不能正常的使用,然后再決定要不要規(guī)?;a(chǎn)。八月時我們做出了決定,價格也隨之而降。鑒于這是一款專業(yè)級相機,許多出租設備的公司也會擁有這臺設備,就像出租索尼或者松下的高端攝像機一樣。
Q:相機的配件會不會在將來變得和專用集成電路一樣?你認為可以達到規(guī)模經(jīng)濟嗎?
A:這是有可能的。我們總是要權衡生產(chǎn)規(guī)模和時間。如果一個集成電路要高效的話,就必須要有數(shù)十萬個小的元器件。同時你的產(chǎn)品也不能換代太快。以數(shù)碼相機來說,盡管它們在更新?lián)Q代,但是每一代的變化都不會太大。以VR相機今天在市場中的地位來說,我們還處在非常初期的階段。只要經(jīng)濟上達到了專用集成電路一樣的水準,這個設想就會實現(xiàn)。
Q:如何評估VR內容的增長?能夠計算出一共輸出了多少時長VR內容嗎?
A:我們會一直監(jiān)測3或4個主要的主要的領域。第一個就是頭盔設備上的下載率。這一數(shù)據(jù)包含了Cardboard,但是會分成不同的種類計算,因為你很難知道是否一個人在使用Cardboard。也許你把他給了你的孩子,但最終被丟在了垃圾堆里。但是像三星Gear VR就不同,盡管我們不知道使用的頻率,但至少我們有能力進行計算。而且當人們花了500美元或700美元時,這臺設備還是會得到使用的。
高性能頭盔的安裝基礎很重要,然后流向VR制作的投資金額也很重要。這些VR內容大部分都是為了市場營銷,比如宣傳電影和產(chǎn)品。你的受眾越多,就會有越多針對這些受眾的營銷。這是另一個重要的驅動力。
我們也會監(jiān)測主要的VR內容平臺,比如Oculus Store、Little Star、迪士尼VR等等。有多少內容你可以觀看呢?與一年前相比,這個答案是令人震驚的。從數(shù)十到數(shù)百,我們很快就會有成千上萬的內容。盡管這其中有很大一部分并不總是令人驚嘆,但是總體的質量還是在上升。
頂級VR體驗的質量有了質的飛越。你也許不會記得第一條流行的短片內容,它是關于一個男人和他的狗在彈鋼琴。當時人人都覺得很驚嘆,但你現(xiàn)在再看就會覺得特別無聊。而新的視頻總會讓你去追尋。
有一個名叫Magnopus的工作室,他們制作的電影《雨果》拿了奧斯卡獎。這個工作室制作了一個VR短片叫做《The Argos File》,并且拿了獎。他們用了OzO進行拍攝。這個短片是關于動作和犯罪的,你可以通過受害者的眼睛來感受故事的進展。整個影片發(fā)展非???,你可以感受到那種真實的緊張感。
Q:所以360度相機會很快發(fā)展為成熟的行業(yè),還是說仍處在試驗階段?
A:我們認為這是一個很有前景的行業(yè),但還沒有到達成熟的階段。最佳的比較對象是功能機和智能手機。早期的功能機與iPhone相比,簡直是天壤之別。你只能用那臺電話來打電話,電池能夠支持幾個小時?,F(xiàn)在VR行業(yè)正處在這個階段。
當然我們很快就會進展到iPhone的那個階段,但是具體怎樣是很難想象的。對我們來說一個基本的常識是:我們世界中的每一幅圖片都是長方形的,就算IMAX也不過是面積很大的一塊長方形屏幕。但是像《我的世界》和其他的VR游戲一樣,原本矩形的世界變成了360度?,F(xiàn)在孩子無法理解為什么我們之前如此狹隘。
對我來說,這一概念就是能夠提升VR的東西。當然我們不能給你僅僅依賴于這一系數(shù)。功能機和iPhone相比,這一系數(shù)是驚人的。誰都不知道在前面等待著的是什么。PS VR已經(jīng)是非常大的進步。這一設備已經(jīng)可以在你的客廳安裝和使用。更多的環(huán)節(jié)正在被打通,這也是為什么我們相信行業(yè)在發(fā)展的原因。
我們需要不停的創(chuàng)新和嘗試新的事物,就像OZO一樣。前路有太多不確定性,這也是第一個吃螃蟹的人必須要承擔的風險。
Q:和索尼的合作將會開發(fā)更多的VR內容?
A:當然。我們和迪士尼達成了合作協(xié)議,包括迪士尼旗下所有的工作室,像是漫威、盧卡斯、ABC等等,一共有13個還是14個。這已經(jīng)是非常大的進步。索尼影業(yè)也包括了索尼音樂。從電影到電視節(jié)目到音樂錄影帶都有。當我們在商談合作時,我們總會看得更遠。
我們也和華納兄弟合作生產(chǎn)。電視劇《重案組》就使用了OZO拍攝,但僅僅是其中的某一集。與一個大集團合作是非常好的,因為我們可以涉足更多不同的娛樂領域。
Q:是否已經(jīng)有人開始進行更長時間的視頻拍攝?
A:已經(jīng)有人在進行多集電視劇的拍攝。導演了《Grease》的Randal Kleiser創(chuàng)作了10集的VR劇《Defrost》。在這部劇中,你是一個在冬眠的人的視角,然后你逐漸的解凍。你見到了你的家人,但是你已經(jīng)不記得他們了。所有的表演都是圍繞你的。你坐在一個輪椅上,然后被推到了醫(yī)院里。每一集的時長大概是15分鐘,而我已經(jīng)能看到制作出60或90分鐘時這種類型片子應該有的方向。直播方面已經(jīng)能達到60分鐘。
Q:OZO是否還有別的應用例子?我曾經(jīng)看過從籃球場館頂部拍攝的視角。
A:有一個人帶著OZO爬珠穆朗瑪峰,而我們甚至沒有幫助他。他就這么買了一臺OZO然后爬了上去。他制作出了在一號營地和二號營地的體驗。然后還有運動,可以把OZO放在第一排,放在籃子里或者放在賽車上。人們去過各種各樣神奇的地方,比如危地馬拉的火山里。
與普通的紀錄片不同,你可以自由自在的環(huán)顧四周。當然還是會有故事的成分,并且也會有娛樂的成分。如果是靜音的話就會顯得非常無聊。如果就你一人行走在熱帶雨林中,很快你就會失去興趣。但是如果有人為你介紹你看到的東西,并且同時你可以隨意走動,那么就會很有意思了。
在新聞中,你可以想象,你正處在事件的中心,就算是記者也無法真正知道究竟發(fā)生了什么。你的視角不受束縛,這是很龐大的一個場景。你可以不斷重復觀看一個事件,每次都會有新的發(fā)現(xiàn),因為你有全部的數(shù)據(jù)留存。
紅牛經(jīng)常在極限運動等方面運用VR。還有新聞、突發(fā)事件、音樂等等。VR體驗不是視頻的替代品,還是補充品。試想你來到我家一起觀看一場比賽。我們正在盯著屏幕,然后社交媒體上有人說:“嘿快看下主隊的板凳球員?!比缓竽憔涂梢源魃蟅R然后去看看到底發(fā)生了什么,同時我們仍然在電視上看著比賽。
Q:我喜歡VR音頻工作的方式,包括音頻是如何將你帶入那個特定的場景的。
A:當然。我們認為音頻驅動了一半的身臨其境的感受。如果僅僅使用立體聲和混合聲是并不準確的。
我很好奇這一技術將去往何處。有一些早期的相機擁有多達36個模塊。為什么不用這么多?難道不是更好嗎?
折衷之處就在于數(shù)據(jù)的量和你能得到的好處。我們用8個攝像頭創(chuàng)造了兩層像素。但是我們在數(shù)據(jù)的某個節(jié)點就停下了,因為我們想要監(jiān)控實時直播的情況。我們想要的是實時可行的工作流。就好像一些相機可以捕捉大量的百萬級像素,但是你要轉換數(shù)據(jù)才能看清楚圖片。
同時還有拼接縫的問題。如果你增加相機的數(shù)量,確實是可以增加分辨率,但同時也有更多的拼接縫需要修補。然后成本也是需要考量的。拼接縫越多后期需要計算的也越多。如果非常有趣的一幕上出現(xiàn)了拼接縫,我的大腦就會下意識的記住,然后在之后的劇情中我就會特意去留意。
我們減少了攝像頭的數(shù)量是因為我們想要更加靈活的處理拼接縫的問題。我可以把這條縫移左或者移右來避免上述問題。但如果縫太多的話,無論怎么移都會影響到附近的縫。
您如何看待相機的應用問題?目前有好萊塢的電影攝像師、有普通消費者、還有GoPro的狂熱愛好者??瓷先ゲ煌南鄼C適用于不同的人群。
市場的頂端就是所有的金錢和時間很充裕的地方。如果我在頂端,我可以很好的拍攝和完善我的作品。這也意味著我能捕捉到的數(shù)據(jù)是最好的,因為我有大把的時間和金錢。
但是當你的預算變得緊張時,不僅是在時間、金錢上,還有可用的人員。并不是說工作人員沒有按照步驟來工作,而是他們一人身兼多職。在一個大制作里有攝像師、有燈光師、有音效師、有助手等等,但是一個小制作里,可能只有五個人左右,一個人會同時是導演和攝影指導,另一個人會同時是燈光師和音效師。
最終出現(xiàn)了一個人就是一個團隊的情況,像是那些在戰(zhàn)爭地區(qū)的自由記者,拍攝婚禮的攝影師或者為大公司制作培訓視頻的人。這些制作的價格在5千美元到1萬5千美元之間。他們必須工作得很快,因為他們要在一個星期里掙到那些錢。前期的準備時間變得非常寶貴,后期拼接和輸出也非常重要,因為要迅速的給客戶看然后得帶報酬。
OZO現(xiàn)在正在往獨立制作的方向發(fā)展。它對一人的團隊非常有用,但是價格還是過高了。如果我拍攝婚禮,我可能會去租一臺OZO。我很有可能同時做普通的拍攝和VR拍攝,把VR拍攝作為我和別人的不同之處。就算客戶并不想要VR版本,也會趨向于擁有這項技術的人,因為這代表著最先進的水平。
2D 360度視頻和VR視頻正在迅速發(fā)展,但是離普通視頻的普及程度還很遙遠。就是像我說的,我們仍然處于功能機的時代。
聽起來我們目前正處在一個很有趣的區(qū)域中。
確實是很有意思的。對我來說最迷人的就是我們看著同一個視頻卻有著不同的體驗。我可以和你分享許多你沒有注意到的事情。另一個人可以再跟我們分享我們倆都沒有注意到的事情。從社交的角度來看是很神奇的。我們同時觀看并不意味著我們看到了同樣的事。也許第二次我會試著從你的角度來觀察。這變成了一種非常有趣的機制。
Q:在即將到來的CES上你們會有什么新動作嗎?
A:當然我們會有一些新的成果??傮w上來說我們一整年都在更新我們的產(chǎn)品,因為我們設計的方面比較多。我們目前有相機,有OZO Live軟件,有OZO Player還有其他的可以讓觀看體驗、拼接效果和直播效果更好的產(chǎn)品。
Q:諾基亞在這個項目中參與了多少?有多人參與其中?
A:幾百左右。諾基亞科技一共有800到900人,包括數(shù)碼健康、數(shù)碼相機和授權團隊。當然,我們一直在招聘。
Q:大部分工作在何處完成?芬蘭嗎?
A:主要的R&D部門是在芬蘭,這是這個項目誕生的地方?,F(xiàn)在大概是65%在芬蘭,35%在加州的森尼維爾市。加州的競爭十分激烈,有太多的VR企業(yè)和大把的VR投資。專業(yè)的知識成了稀缺的資源,就像硅谷任何一次科技浪潮一樣。只要新的浪潮一出現(xiàn),最集中的投資就會在這里展開爭搶。
Q:那么AR呢?您是否有所關注?
A:當然有。AR是另外一個方面,目前有兩種含義。一個是你周圍真實的AR,另一個也是AR視頻捕捉。你可以想象的是,我可以捕捉到一個地方的一段視頻,然后通過AR來加工這段視頻。這并不僅僅像字幕或者疊層,每一次的展示也并不一定一樣。
同樣的,你看的是同一個視頻,但是觀看方式的不同和操作方法的不同會讓你獲得不同的信息。有可能在同一段開會的視頻中,出席的人不一樣,或者房間有所變化。
你會注意到一些融合正在產(chǎn)生。電腦產(chǎn)生的VR和錄制的VR將會很容易的合并在一起,尤其當播放平臺是一樣的時候。
關注微信公眾號:VR陀螺(vrtuoluo),定時推送,VR/AR行業(yè)干貨分享、爆料揭秘、互動精彩多。
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)