文/VR陀螺

由VR陀螺主辦的“Vision Pro系列開發(fā)者活動 城市系列閉門交流會”已于3月14日在杭州順利舉辦。

本系列活動以各大開發(fā)者集中的城市為中心，旨在聯(lián)合全國優(yōu)秀開發(fā)者共同探索Vision Pro的內(nèi)容生態(tài)發(fā)展，探討新平臺的發(fā)展趨勢和潛在機遇?，F(xiàn)場提供Vision Pro實機的試玩體驗，閉門沙龍的形式讓整個活動氛圍輕松自然，促進到場的開發(fā)者之間展開深度交流。

活動不僅面向XR內(nèi)容團隊，也面向移動端、PC和游戲主機等傳統(tǒng)平臺的內(nèi)容開發(fā)者，以便從不同角度來審視和討論這臺“空間計算”設(shè)備?，F(xiàn)場演講有資深開發(fā)者分享visionOS的開發(fā)經(jīng)驗，還有嘉賓帶來關(guān)于App Store平臺發(fā)展、Vision Pro原生內(nèi)容生態(tài)方面的深度分析。

杭州站的圓桌論壇請到眼見科技創(chuàng)始人 麥子、西顧科技CEO Nikk Mitchell、易現(xiàn)EZXR資深XR工程師 金立漲，圍繞“已有Unity工程遷移到Vision Pro上需要多少時間”“遷移時如何考量共享空間、全沉浸空間等不同模式”“哪種視頻形式會成為Vision Pro上最核心的呈現(xiàn)方式”“共享空間的兩個App之間能否實現(xiàn)交互”等問題展開了深度探討。圓桌期間三位嘉賓以及主持人——VR陀螺總經(jīng)理&主編 案山子都在臺上全程戴著Vision Pro，這也成為活動當天一種別樣的風景。

以下為圓桌論壇實錄：

左起依次為：案山子、麥子、Nikk Mitchell、金立漲（圖源：VR陀螺）

案山子：首先請各位嘉賓簡單介紹一下自己。

麥子：大家好，我是眼見科技的創(chuàng)始人麥子。今天很高興大家能夠來我們這邊一起聚一下，圍繞Vision Pro展開討論。眼見科技一直在做垂直于VR、AR、MR的孵化器，希望能給大家提供一個場地做交流，幫助大家做一些具體的事情，我們本身也會去做一些項目上的嘗試。

Nikk：我是西顧科技的Nikk，在VR領(lǐng)域做了十多年，主要是影視方面。

金立漲：我是易現(xiàn)EZXR的開發(fā)工程師，以前主要是做iOS開發(fā)，最近遷到visionOS。今天我可能更偏向于從開發(fā)者的角度來分享一些見解。

案山子：那問題就從金總開始。您剛才提到自己之前是做iOS開發(fā)，現(xiàn)在轉(zhuǎn)到Vision Pro。無論是從原先iOS上的經(jīng)驗沿用過來，還是基于Vision Pro的手眼協(xié)同，在開發(fā)過程中有誕生出哪些比較好的點子，或是遇到了什么困難嗎？

金立漲：我覺得首先要熟悉Vision Pro的生態(tài)鏈，然后才會有一些點子。比如我最近在做手勢，那肯定要先了解蘋果提供了哪些API。參考DEMO里有個游戲叫《Happy Beam》 ，是通過“比心”去射擊。這個游戲?qū)嶋H上是通過手部關(guān)節(jié)點去計算一個比愛心的手勢，既然知道了它能夠拿到手上這么多的關(guān)節(jié)點信息，就會設(shè)想除了系統(tǒng)默認的捏合手勢之外，還能不能做握拳的識別，或者在射擊類游戲里比出手槍的姿勢……諸如這類想法，然后再去做一些嘗試。

我們正好在用Unity做開發(fā)。Unity跟蘋果最近合作挺密切的，之前在WWDC的宣傳也說了用Unity可以直接開發(fā)visionOS的App。所以我們就會去看Unity給visionOS提供了哪些東西，發(fā)現(xiàn)Unity的那套UX（用戶體驗）其實做得相當好。比如符合UX的那套規(guī)范，只要你去實現(xiàn)了，就能夠直接用一套代碼在visionOS還有Meta Quest之類的平臺上跑起來，減輕了開發(fā)者的工作量。

當然坑也是存在的。因為蘋果這些東西都是很新的，像API文檔之類都還不完善，遇到問題并不是到Google里搜一下，借鑒別人的一些經(jīng)驗可以快速找到方案。很多時候除了搜索，我們只能去看官方的原生文檔、原生DEMO，從零開始解題、答題。會有諸如此類的坑。

Nikk：現(xiàn)在都是用SwiftUI開發(fā)嗎？

金立漲：我們最近主要是在遷移已有的游戲，因為我們公司有用Unity做了一些東西，所以目前visionOS原生相關(guān)的內(nèi)容會做的比較少一點。SwiftUI我們也用過，但主要是在iOS上。

麥子：原先已經(jīng)做好的Unity工程，現(xiàn)在遷移到Vision Pro上大概需要再花費多少時間？

金立漲：這取決于原來的Unity App使用了什么樣的Shader材質(zhì)，或者怎么樣的寫法。如果App原本用的都是Unity VRTK那套東西，后面直接用Shader Graph比較簡單的，那遷移就會相當快速。我覺得整體難度屬于中等偏低的水平，但工作量還是有一些的，遷移相當于從頭開發(fā)App工作量的10～20%，很快就能搞定。但如果用的材質(zhì)、Shader全都是比較復(fù)雜的，那要移植大概只能重寫。如果Unity跟蘋果那套生態(tài)打通得比較好的話，我覺得可能會比重新用原生的SwiftUI開發(fā)快得多。

案山子：Vision Pro分為共享空間、全沉浸空間等不同模式。您在遷移內(nèi)容時，如何考量這些不同的模式范圍呢？

金立漲：因為我們的內(nèi)容是3D游戲，所以肯定是基于混合現(xiàn)實或全沉浸空間做考量。如果原本是手游，我傾向于最簡單的方式就是做成窗口那種類型。像Apple Arcade里有很多就是窗口式的游戲，這種就比較難完全利用到Vision Pro的這套沉浸式體驗，可能只是畫面更大一點，但操作的便利度上甚至還會下降一點。

案山子：那么手眼協(xié)同部分的適配呢？

金立漲：我們做的是一款“消消樂”類游戲，覺得更好的沉浸式體驗是直接用手去碰方塊，然后去把它消除掉，這種用直接交互會更方便一點。如果用眼睛去看、再去劃這種交互方式會更累。我個人的感覺是頻繁用眼睛聚焦到一個點去操作還是會累的。具體可能還是要等更多的產(chǎn)品經(jīng)理熟悉了Vision Pro的整個生態(tài)之后，他們覺得有適合的交互，再去發(fā)現(xiàn)用戶的需求。

Happy Beam（圖源：蘋果）

案山子：現(xiàn)在蘋果Vision Pro平臺上有很多種不同的影視形式，您認為其中哪種形態(tài)會成為這個終端以及后續(xù)迭代產(chǎn)品上最核心的呈現(xiàn)方式？

Nikk：我評估空間視頻未來會成為一個新的標準，會顛覆普通的拍攝。無論是用iPhone 15拍還是用Vision Pro頭顯拍，會給視頻追加一個深度信息。如果用手機等平臺看，還是平面的樣子；如果用Vision Pro等別的設(shè)備看，就能看到立體的視頻。我認為空間視頻未來會變成一種非常常見的形式。

現(xiàn)在Vision Pro的一些爭議點，我認為不是蘋果對VR長期的看法，我相信蘋果一定有“未來VR能做成什么樣”的夢想?，F(xiàn)在Apple TV只有180度、沒有360度全景，也沒有6DoF。短期內(nèi)他們可能不會考慮，因為180度全景正好讓用戶坐在原地欣賞，不需要移動也就不需要6DOF。但未來每一年他們肯定都會再往前走，做到特別立體的全景、帶6DoF的移動視頻等等。

早期很多人跟我聊的時候，都沒有VR視頻這個概念，認為電影就是坐在影院里看平面的畫面。我自己特別喜歡的一個故事是在有聲電影發(fā)明之前，沒有人認為電影應(yīng)該要有聲音，但當音效、配音出來以后，所有電影都朝這個方向走?？臻g視頻也是一樣，平面的視頻并不會消失，但是內(nèi)容呈現(xiàn)的標準肯定是會越來越接近真實世界。

案山子：麥子之前做過一些工業(yè)方面的內(nèi)容，那么基于您的開發(fā)經(jīng)驗，您認為Vision Pro對于這些行業(yè)應(yīng)用的內(nèi)容來說是不是一個迭代產(chǎn)品？或者說Vision Pro有哪些點很符合B端的需求？

麥子：因為我在做項目的同時經(jīng)常也要扮演銷售的角色，在過去的很多場合都需要把自己的一些理念傳達給客戶。在這個過程中我很希望有一臺設(shè)備能夠告訴他，我說的這些東西是真的能做到的，我講的效率提升是真的可以實現(xiàn)的。在混合現(xiàn)實的融合上，蘋果Vision Pro相較以前的設(shè)備是一個很大的提升。

當然我并沒有覺得現(xiàn)在的Vision Pro已經(jīng)完美或是非常好了，但是它有一種力量。你可以告訴客戶我所說的方向、我所說的未來，它正在一步步地朝前走，并沒有停滯，我沒有在吹牛，而只是把未來五年或者十年后會發(fā)生的事提前告訴了你。蘋果把這個產(chǎn)品做出來，證明了我所說的事情正在發(fā)生。——這是我體驗Vision Pro以后的一個最大感受，會更有信心了，對自己判斷的東西更加堅定。

圖源：蘋果

案山子：大家之前都深度地體驗過Vision Pro之外的很多的VR產(chǎn)品，也都是很早就進入了這個行業(yè)。各位覺得Vision Pro跟其他產(chǎn)品最大的差異點在哪里？或者它目前的局限性在哪里？

麥子：我覺得現(xiàn)在目前最大的局限性是Vision Pro太私密了。我很難把我的體驗用語言，或者其他方式很快速地讓你也體驗到。不像手機，我看到一個好玩的視頻，馬上拿給你看，或者把地址發(fā)給你，你就能看到，能跟我有同樣的體驗。但是在Vision Pro里，比如我有一個很贊的體驗，想分享給你、讓你有同樣的感受，目前還是比較難的。

至于Vision Pro跟其他設(shè)備的差異。我覺得蘋果在做的這件事情的時候，他們思考的維度跟其他過往的VR、MR、AR產(chǎn)品的思考角度是完全不一樣的。Vision Pro是一個空間計算的設(shè)備，蘋果不希望用戶帶上這個設(shè)備之后跟現(xiàn)實世界是隔離開的，以前的VR設(shè)備都是要進入虛擬的環(huán)境中去。蘋果在發(fā)布會上就展示了用數(shù)碼旋鈕來調(diào)整沉浸度，包括EyeSight顯示的這個看起來有點傻乎乎的眼睛，但我覺得這就是蘋果不同于其他VR設(shè)備的思考。他們希望用戶戴上這個設(shè)備以后跟別人以及真實世界依舊有聯(lián)系、有交流。

另一個讓我覺得比較驚艷的地方在于，戴上Vision Pro以后的眼動和手動追蹤的交互體驗，也就是UX（用戶體驗）的部分，在之前那些VR設(shè)備里我沒有獲得過這樣的感受。我們之前做項目的時候，經(jīng)常會拿很多種設(shè)備去給不同的人體驗，在這個過程中，要讓人迅速掌握一個VR設(shè)備的使用還是挺困難的。如果讓一個完全沒用過的人試Vision Pro，上手的過程相較于其他VR設(shè)備而言還是比較順暢的，而且給人的體驗感也比較好。

Nikk：我覺得Vision Pro的局限性現(xiàn)在有很多，比如App不能改變排列、位置特別亂，頭顯太沉、太大、戴著很不舒服，定價太貴，EyeSight顯示的眼睛形象很奇怪……任何人要吐槽這個產(chǎn)品我都不會跟他們爭論，因為這里說的每一個點基本上都是對的。就像很多人都吐槽Persona的形象很奇怪，但這是只用1分鐘時間掃出來的建模，下一代的2.0、3.0……肯定會越來越清楚、變得更自然。雖然問題有很多，但是如果把Vision Pro看成一顆種子、一種概念，下一代產(chǎn)品肯定會做得更好，我相信各種問題很快都會解決。

金立漲：從API角度，我們剛拿到WWDC的開發(fā)教程視頻的時候，就覺得蘋果怎么這個API也沒有、那個API也沒有？然后我們?nèi)チ碎_發(fā)者實驗室，問了他們的培訓(xùn)員工，才知道出于隱私的原因，蘋果沒有開放原始的圖像幀，那很多事情我們都做不了。比如ARKit原來的很多特性，也不是直接開放的，開發(fā)模式整個就變掉了。我感覺蘋果在這方面可能有自己的想法，想重新定義一套流程。

比如對物體做渲染，原本可以拿到ARKit的原始數(shù)據(jù)去指定它的位置?，F(xiàn)在變成了我們?nèi)[一個東西，然后蘋果根據(jù)物理世界的碰撞什么的，幫你把整個事件后續(xù)的機制都給更新了，對我們開發(fā)來說局限性會有點大。

近日，蘋果在visionOS 1.1中對Persona功能進行了升級。（圖源：蘋果）

案山子：關(guān)于開發(fā)我有一個暢想。Vision Pro的共享空間，里面所有的運行模塊都是獨立存在的，如果同時打開兩個APP，能否讓它們之間產(chǎn)生交互？

金立漲：如果蘋果想做，肯定是可以的。比如把整個世界定義成一個空間，兩個App擺在一起，去遵循同一套物理碰撞原理的話，我覺得是可行的。

麥子：其實某種意義來說已經(jīng)達到了，現(xiàn)在可以把文件或信息在兩個App之間進行傳遞，比如把icloud里的東西下載到《Moon Player》里面去。

案山子：如果不只是傳遞信息，而是App之間相互影響呢？

Nikk：這個概念我覺得在技術(shù)方面應(yīng)該沒有限制的，以前我們可能沒有考慮過，或者說沒有這種需求。就像在手機里打開兩個不同的App，不會同時去操作，也不會希望它們有任何相互的影響，最多就是通過分屏功能它們放在同一個畫面里。未來進入空間計算時代，就會不一樣了。

金立漲：iOS平臺以前App之間是沒辦法共享數(shù)據(jù)的，蘋果后來提出了一個Group的概念，比如都是同一家公司開發(fā)的App，在同一個Group上，那它們就可以共享數(shù)據(jù)。如果Vision Pro也遵循這個套路，允許同一個公司開發(fā)的App在空間里進行交互，可能會從這種方式先進行嘗試。但如果是兩個有不同的碰撞粒子效果的App，要做到數(shù)據(jù)打通甚至交互在技術(shù)上存在難度，因為在材質(zhì)這些系統(tǒng)層面上就不一樣。我傾向于蘋果可能會先打通Group，因為只有開發(fā)者先適配好，才會有進一步的在兩個App之間的預(yù)定性交互。App之間交互這個想法我覺得很好。

案山子：蘋果對Vision Pro給出了包括窗口、空間體積、共享空間、全沉浸空間概念。各位從開發(fā)者的角度有沒有去揣摩蘋果設(shè)定這些概念的出發(fā)點？或者說這些概念給開發(fā)內(nèi)容帶來了怎樣的影響？

金立漲：我覺得蘋果是定義了各種行為適應(yīng)的場景。比如看文檔一般用窗口就足夠，但它也不限制開發(fā)者去切換模式。比如我們看一張紙一樣的菜單，想看看里面的菜燒出來是什么樣的，這時候就能點一下去看3D的真實效果。蘋果相當于從各個維度定義了你如何使用，通過這種方式來區(qū)分各種各樣的功能性，從而達到更好的體驗。如果菜單之類全都在全沉浸空間里，可能操作起來就會有一定的困擾性。之前在其他VR設(shè)備上并沒有劃分這么清晰明顯的幾個界限，當時我們剛看到這幾個概念的時候也是一頭霧水，但是用了以后就覺得還挺有道理的。

麥子：我看到開發(fā)者文檔的時候，就覺得這個分類方法還蠻好的。比如我們在學(xué)幾何的時候，肯定要先理解點、線，再理解面，知道坐標軸。蘋果在設(shè)置這些概念的過程中，就相當于引入了XYZ軸，告訴你Vision Pro里所有的信息是可以分成窗口、空間體積這幾種類型的。

我自己的理解，空間計算的意思是“空間計算器們”，后面要加一個s。什么意思呢？我們把一個窗口想象成一個iPad，這個iPad可以任意放大、縮小，還可以把它固定在任意一個我想要的位置上。而我有幾十個這樣的iPad，它們就是“空間計算器們”。當它們可以提供三維信息的交互位置的時候，這就是空間體積的概念。這是我對“空間計算”概念理解的一個方面，它跳脫出了以前我們對AR、VR的理解角度，因為這些信息一直是客觀存在的，蘋果用這種方式梳理好來告訴你如何去呈現(xiàn)。

窗口、空間體積與空間（圖源：蘋果）

案山子：接下來聊一聊交互。在Vision Pro現(xiàn)在的手眼協(xié)同交互方式下，各位在開發(fā)內(nèi)容的時候，覺得直接手勢、間接手勢和手柄交互有哪些局限性和擴展性？

Nikk：我覺得要看應(yīng)用的目標。就像玩《Beat Saber》會有大的動作、可以健身，用眼睛玩肯定不行。如果出發(fā)點是方便、效率，那用眼睛肯定是最好的。但有些應(yīng)用就是“不要方便的”，像《Gorilla Tag》，它沒有UI或Menu，就通過擺手同步在這個世界進行移動，目的是好玩而不是效率。

麥子：今天上午我也有幾個朋友一起在這邊體驗Vision Pro，剛剛你的這個問題有點像我上午想到的。就是從有手柄交互的情況下，進入到純靠手勢交互的體驗，它的區(qū)別我想類比成2007、2008年時候的觸摸屏，大家還記得當時是有觸控筆的，對吧？當然現(xiàn)在也有Apple Pencil，用筆交互肯定是更精準的，但喬布斯在介紹iPhone時說“我覺得手指是最好的輸入設(shè)備”。一開始大家也是不習(xí)慣，會覺得用手指去操作是不是會按錯。原來的Quest或HTC那些VR設(shè)備，它們的手柄和現(xiàn)在Vision Pro里的純手眼交互，就有一點像當時過度的那種感覺。

當然就像剛才Nikk說的，還是要看場景和應(yīng)用的類型的，像《Beat Saber》一定是有手柄玩更好的。再比如網(wǎng)球類游戲，一定要有一個設(shè)備或東西讓你去抓握著，體驗會好于沒有的。但是在大多數(shù)場景，比如日常體驗中去使用Vision Pro里面的一些App時，我覺得手眼追蹤的交互是好于用手柄去指指點點的。

在Quest剛發(fā)布沒多久、上了手勢追蹤SDK功能的時候，我們就用手追去做了一些工業(yè)和教育的培訓(xùn)。當用戶可以用手直接抓起有一定重量設(shè)備的時候，這個感覺是非常好的。在往前幾年、還沒有6DoF的時候，我們用Leap Motion配合PICO G2去做過手勢的操作培訓(xùn)。當時我就去做這樣的嘗試，原因在于我覺得直接用手是要好于手柄的，因為那件事情本身就沒有手柄。當時做消防、電力培訓(xùn)的時候，大家都是用手柄去模擬的，但現(xiàn)實中是不可能拿手柄去滅火的，而是用手直接去抓滅火器，這是一個自然的過程。所以我覺得交互是分場景、分應(yīng)用的，直接手勢交互必須得有。

我在玩Vision Pro里的《割繩子》游戲的時候，就覺得如果只是將手追和眼追簡單地類比成屏幕的觸摸和劃動，然后去玩這類游戲，這件事情有點像用大炮打蚊子。《割繩子》這類游戲就是應(yīng)該用手在觸摸屏上去操作的，開發(fā)者只是給Vision Pro做了移植，并沒有真正考慮這款游戲在MR這個場景里應(yīng)該去做怎么樣的操作邏輯。

在接下來的過程中，我們需要大量優(yōu)秀的產(chǎn)品經(jīng)理重新基于空間計算設(shè)備去設(shè)計，跟現(xiàn)在看到的平面上的游戲體驗完全不一樣。未來最終的答案是什么，我還不知道。但肯定不會是把iPad上的游戲搬過來，用手追和眼追去取代劃屏的手勢動作或是手柄上的一些操作，這樣的照搬一定不是未來游戲的方向，也不會有良好的游戲體驗。

案山子：傳統(tǒng)平臺上已經(jīng)有很多游戲類型，您覺得在Vision Pro這個新平臺上會誕生出新的游戲類型嗎？還是基于原有的游戲類型產(chǎn)生一些新的玩法？您覺得Vision Pro更適合什么類型的游戲？

金立漲：Vision Pro我們拿到手才幾個月，目前也只是用現(xiàn)有的資源去做整合和探索的一個過程。比如我們有某款游戲，先遷移過去看看效果。如果要問有哪個賽道或哪種游戲能在上面成為爆款？最近我在關(guān)注F1比賽，如果Vision Pro能夠與方向盤設(shè)備進行打通，我坐在椅子或沙發(fā)上，在真實世界中像開賽車一樣地去開，這種場景落地就真的會利用到Vision Pro強大的算力和沉浸式的體驗。因為傳統(tǒng)賽車游戲就是對著屏幕，看到的終究還是二維的東西。

未來Vision Pro上游戲會是什么樣的方式，坦白說要回答這個問題挺難的。可能還得大家慢慢去熟悉它的特性，有一些好的創(chuàng)意去落地、去探索，才能知道最終的答案。

《Cut the Rope 3》Vision Pro版（圖源：ZeptoLab）

案山子：麥子和Nikk對Vision Pro的場景有什么樣的看法？

麥子：現(xiàn)在如果有一個App，能夠去分享我們拍的空間視頻，它的呈現(xiàn)方式可以很簡單，類似《TikTok》一樣，我覺得這可能是我目前非常想要的一個應(yīng)用或平臺。因為現(xiàn)在我只能看到自己拍過的一些內(nèi)容，但其實我也很想把拍攝的內(nèi)容通過面對面以外的方式分享給其他人?？臻g視頻是可以滿足人性的窺探欲的，因為它的臨場感很強。當我拍攝后上傳到某個App，另外一個人刷到這個視頻的時候，他就會很有代入感。App Store上現(xiàn)在有一些類似的應(yīng)用，像《Spatial Station》，雖然社交化還沒有做得很好，但基礎(chǔ)的分享功能已經(jīng)實現(xiàn)了。

Nikk：現(xiàn)在Vision Pro的應(yīng)用里很少見到真正的社交，我覺得這是一種剛需。比如看F1之類的比賽，或是看電影，能跟其他同樣戴頭顯的人一起處在同一個空間，同時看到一樣的畫面。

麥子：我能告訴你這個功能很快就要有了。因為我看到蘋果的DEMO里是有相關(guān)代碼的，只是代碼還沒有寫完。他們應(yīng)該已經(jīng)有類似的框架，比如我創(chuàng)建一個頻道，邀請你加入進來，然后我看到的畫面你也能夠看到，包括進度也是同步的，未來應(yīng)該很快就可以實現(xiàn)。

案山子：好的，我們今天的圓桌環(huán)節(jié)就到此結(jié)束。接下來如果大家還有相關(guān)的問題，也可以線下一起來交流。