文/VR陀螺 元橋

在今年蘋果開發(fā)者大會（WWDC 2023）上，庫克（Tim Cook）延續(xù)了喬布斯“one more thing”的表達(dá)發(fā)布了新一代空間計算產(chǎn)品——Apple Vision Pro。

這是一個值得讓人紀(jì)念的歷史性時刻，看到了又一個“one more thing”時刻來臨，更重要的是人機(jī)界面技術(shù)在蘋果發(fā)布新品之后會將迎來全新的發(fā)展，人類在虛擬/增強(qiáng)現(xiàn)實(shí)層面的腳步又前進(jìn)了一步。

之所以說“又”是因?yàn)樵谔O果未發(fā)布新品之前，OpenAI推出了ChatGPT以及GPT大模型，讓人類徹底感受到AI能力的不凡，相應(yīng)地AI技術(shù)在AR/VR領(lǐng)域的應(yīng)用也凸顯了出來，甚至帶來了新一輪產(chǎn)業(yè)格局的變化。

AI+便被視為虛擬/增強(qiáng)現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展的關(guān)鍵因素，更是推動產(chǎn)業(yè)走深的底層技術(shù)，而蘋果一直作為行業(yè)“游戲規(guī)則的制定者”在AI層面的布局亦甚為久遠(yuǎn)。雖然在今年WWDC 2023大會上，蘋果只字未提人工智能，但從此次發(fā)布會上的產(chǎn)品以及新品Vision Pro中便能夠窺探出一二。

 蘋果超十年的AI布局 

6月2日，據(jù)外媒馬克?古爾曼的推特表示蘋果正在招募人工智能方面的人才，而據(jù)外媒消息顯示，自5月以來蘋果在招聘門戶網(wǎng)站上發(fā)布了至少88個與人工智能相關(guān)的職位，涵蓋視覺生成建模、主動智能和應(yīng)用AI研究等領(lǐng)域。

圖：馬克?古爾曼推特

所招聘的職位隸屬于一個團(tuán)隊，該團(tuán)隊將“塑造生成式人工智能技術(shù)改變蘋果移動計算平臺的方式”，進(jìn)一步表明iPhone以及Vision Pro等產(chǎn)品中的AI應(yīng)用將會得到進(jìn)一步擴(kuò)展。

但蘋果在人工智能層面的布局其實(shí)更早，2010年蘋果以2億美元的價格收購了Siri團(tuán)隊，并于2011年，隨著iPhone 4s的發(fā)布，Siri以智能語音助手的身份亮相市場，如今被擴(kuò)展到Mac、iPad甚至新發(fā)布的產(chǎn)品Vision Pro中。

圖：Vision Pro中呼喚Siri（來源：網(wǎng)絡(luò)）

據(jù)VR陀螺梳理，2010至今蘋果收購的AI相關(guān)企業(yè)近30家，已知的收購金額超14億美元（折合人民幣近100億）。大部分的收購與語音識別有關(guān)，應(yīng)用方向集中在Siri上。但在生成式AI爆火的今年，Siri這一語音助手并未看到有太智能的進(jìn)步，如當(dāng)你問Siri一個問題時，Siri仍然還是會告訴你它搜索了哪些網(wǎng)站或者直接回答我不是很清楚。

圖表：蘋果收購一覽（VR陀螺整理）

這種簡單的操作相比如今會寫稿、會編程的ChatGPT很容易讓人忘記其實(shí)Siri也是人工智能，只是它與ChatGPT的工作原理不同。Siri的一大工作原理是當(dāng)它接收到指令后，會優(yōu)先傳送到蘋果的數(shù)據(jù)中心，數(shù)據(jù)中心會根據(jù)指令的內(nèi)容進(jìn)行分析，給出已知的答案；其次就是上傳到云端，給出答案“我不太清楚，但我從網(wǎng)絡(luò)上找到了這些信息”等等。而ChatGPT并沒有本地的流程，直接利用龐大的計算與模型推算，無論是否理解指令，都會給出答案。

圖源：網(wǎng)絡(luò)

蘋果向來對AI的發(fā)展都處于謹(jǐn)慎的態(tài)度，更喜歡強(qiáng)調(diào)機(jī)器學(xué)習(xí)功能以及為用戶提供好處，正如此次WWDC 2023大會上，庫克在接受媒體采訪時所稱“我們確實(shí)將它（AI）整合到我們的產(chǎn)品中，但人們不一定將其視為人工智能。”正因?yàn)槿绱耍O果才會限制Siri無節(jié)制發(fā)展。

不僅是Siri，在蘋果產(chǎn)品中被忽略AI能力還有很多，像Apple Pencil的筆觸追蹤，F(xiàn)aceID的面容識別以及新品Vision Pro中的智能輸入等，都呈現(xiàn)了AI的能力，下文會詳談。

另一方面，蘋果的AI戰(zhàn)略更注重兩個點(diǎn)：性能與安全。在性能層面，蘋果會將AI融入到產(chǎn)品中，提高產(chǎn)品的使用效果；而安全則是隱私，隱私是蘋果歷來注重的一個點(diǎn)，如2015年蘋果收購Perceptio，這家公司主要從事人工智能照片分類，但除了圖片自動分類外，Perceptio還可以保護(hù)隱私，無需將用戶數(shù)據(jù)存儲在云端。 

2020年，蘋果機(jī)器學(xué)習(xí)和人工智能戰(zhàn)略的高級副總裁John Giannandrea以及產(chǎn)品營銷副總裁Bob Borchers在一次訪談中便肯定了蘋果的AI戰(zhàn)略，并表示2018年蘋果就加快了這一進(jìn)程，讓iPhone 中的 ISP 與神經(jīng)引擎緊密合作（中央處理器），只是蘋果不會向外說太多自己的AI能力，強(qiáng)調(diào)的則是Transformer 語言模型、機(jī)器學(xué)習(xí)等。

圖：John Giannandrea（來源：網(wǎng)絡(luò)）

而Giannandrea和Borchers也清楚地表明：如今，機(jī)器學(xué)習(xí)在蘋果的產(chǎn)品功能中發(fā)揮了重要作用，機(jī)器學(xué)習(xí)在蘋果的應(yīng)用還會繼續(xù)增強(qiáng)。

 Apple Vision Pro中透露出的AI能力 

在生成式AI爆火的今年，很多業(yè)內(nèi)人士都預(yù)測稱今年的WWDC 2023大會，蘋果可能也會談及AI，但在近2小時的發(fā)布會上，AI一次都未被提及，只是在其產(chǎn)品中無處不在。陀螺君針對Vision Pro所展現(xiàn)的AI能力進(jìn)行了梳理，不難看出AR/VR若想進(jìn)一步發(fā)展，必然也離不開AI技術(shù)的支持。

1.AI數(shù)字分身

AI的接入使數(shù)字人制作更加逼真，甚至在一些網(wǎng)站上，用戶也可以根據(jù)自己的需求創(chuàng)建符合自己需求的數(shù)字人，而3D虛擬數(shù)字人也是VR頭顯進(jìn)一步發(fā)展避不開的一節(jié)。Meta在去年就發(fā)布了Codec Avatar 2.0版本，比1.0進(jìn)一步完成了逼真的數(shù)字人效果。

圖源：網(wǎng)絡(luò)

Vision Pro則是通過前置攝像頭掃描人的面部信息，再基于機(jī)器學(xué)習(xí)技術(shù)，系統(tǒng)會使用先進(jìn)的編碼神經(jīng)網(wǎng)絡(luò)，為用戶生成一個“數(shù)字分身”。并且當(dāng)用戶正通過FaceTime通話時，數(shù)字分身可以動態(tài)模仿用戶的面部和手部的動作，保留數(shù)字分身的體積感和深度。

圖源：網(wǎng)絡(luò)

根據(jù)蘋果表示，目前團(tuán)隊正在積極優(yōu)化所述功能，在未來的visionOS更新中，數(shù)字人會變得更加逼真。另一方面，從發(fā)布會上的使用效果來看，數(shù)字分身的構(gòu)建確實(shí)已經(jīng)很逼真了，而且操作上也更加簡單，僅需用設(shè)備掃一掃面部信息即可，可以說已經(jīng)超越了目前市面上一些數(shù)字分身軟件。

2.AI情緒檢測

蘋果在2016年就收購了一家AI情緒檢測的公司，而今年據(jù)外媒消息顯示，蘋果正在研發(fā)一種名為Quartz的人工智能健康指導(dǎo)服務(wù)與跟蹤情緒的新技術(shù)。

在此次Vision Pro發(fā)布后，蘋果前研究員Sterling Crispin在推特中，透露了不少關(guān)于Vision Pro的黑科技。其中最令人驚嘆的便是Vision Pro可以通過用戶在沉浸式體驗(yàn)中的身體和腦部數(shù)據(jù)，來檢測用戶的心理狀態(tài)。Sterling Crispin將其稱為“腦機(jī)接口”或“讀心術(shù)”。

圖：Sterling Crispin的推特信息

而這項技術(shù)背后的主要原理則是，每個人在做每件事之前，瞳孔會做出反應(yīng)，其中部分原因是你預(yù)計在你點(diǎn)擊之后會發(fā)生一些事情。因此，蘋果可以通過算法來監(jiān)視你的眼睛行為。并實(shí)時重新設(shè)計UI，以創(chuàng)建更多這種預(yù)期的瞳孔反應(yīng)，從而創(chuàng)建個人大腦的生物反饋。

圖源：網(wǎng)絡(luò)

3.更智能的輸入方式

為了進(jìn)一步滿足用戶對指引功能和空間內(nèi)容的交互，Vision Pro引入了全新的輸入系統(tǒng)，即由眼睛、手勢和語音來進(jìn)行交互，通過注視應(yīng)用，“輕敲/輕拂”的手勢進(jìn)行應(yīng)用的選擇，或使用語音指令來瀏覽應(yīng)用。

圖源：網(wǎng)絡(luò) 

當(dāng)眼睛注視到瀏覽器搜索框時，搜索框即進(jìn)入聽寫輸入狀態(tài)，此時只需語音說出想要檢索的內(nèi)容，即可自動鍵入文本，進(jìn)而進(jìn)行搜索。使用 Siri 還能快速打開和關(guān)閉 app，播放媒體文件等。

圖源：網(wǎng)絡(luò)

雖然蘋果并沒有在Vision Pro介紹中強(qiáng)調(diào)輸入法，但從iOS 17的介紹中可知，蘋果更新的更加智能的輸入法，不僅可以糾正拼寫錯誤，甚至還可以糾正用戶在輸入過程中的語法錯誤。更為重要的是，基于設(shè)備端的機(jī)器學(xué)習(xí)，輸入法還會根據(jù)用戶每一次的鍵入自動改進(jìn)模型，將輸入法的自動糾正功能達(dá)到了前所未有的準(zhǔn)確度。

圖源：網(wǎng)絡(luò)

4.新的操作系統(tǒng)“visionOS”

據(jù)蘋果表示，建立在macOS、iOS和iPadOS的研發(fā)基礎(chǔ)上，他們從零開始為Vision Pro設(shè)計了新的操作系統(tǒng)VisionOS，以實(shí)現(xiàn)對低延遲要求非常高的空間計算能力；分別內(nèi)嵌了iOS框架、空間計算框架、空間音頻引擎、3D空間引擎、注視點(diǎn)渲染引擎、實(shí)時驅(qū)動的子系統(tǒng)等。

圖源：網(wǎng)絡(luò)

據(jù)蘋果透露， visionOS將會有全新的 AppStore，未來會有更多專門針對 Vision Pro 開發(fā)的應(yīng)用，例如 3D 解剖圖等。

5.場景與動作識別

從以上可以看出Vision Pro的創(chuàng)新離不開AI的發(fā)展，在Vision Pro的空間音頻計算、眼球動作以及手部行為的捕捉，這些都是人工智能技術(shù)所發(fā)力的領(lǐng)域，蘋果憑借著M2和R1兩顆芯片提供的算力支撐，順利實(shí)現(xiàn)了人工智能的本地化部署。

圖源：網(wǎng)絡(luò)

而除了在Vision Pro隱藏了無處不在的AI能力外，蘋果的所有產(chǎn)品幾乎都能看到AI的技術(shù)，AI幾乎已經(jīng)滲透到了其產(chǎn)品的各個細(xì)節(jié)中，進(jìn)一步表明了“AI+”在AR/VR層面發(fā)展的重要程度。

雖然蘋果只字未提AI，但庫克在一次訪談中表示“他個人正在使用 ChatGPT 并對這個獨(dú)特應(yīng)用程序感到興奮，并表示蘋果目前正密切關(guān)注該工具。”庫克還補(bǔ)充說，“大型語言模型顯示出巨大的希望，但也有可能出現(xiàn)諸如偏見、錯誤信息之類的事情，而且在某些情況下可能更糟。”

在筆者看來，AI作為一項技術(shù)本就該用于提升產(chǎn)品的性能，更好地為人類服務(wù)，過多的炒作或宣傳反而失去了這項技術(shù)本該有的樣子。同時，人工智能或者機(jī)器學(xué)習(xí)在未來會變得更加普遍，對于生成式AI，蘋果或許并沒有以大眾希望的樣子而展開，但相信蘋果默默將其融于產(chǎn)品后一定可以提升用戶的體驗(yàn)，讓人眼前一亮。

“AI+”，AR/VR發(fā)展關(guān)鍵的一環(huán) 

之前陀螺君曾在一篇文章中分析過“AI+”對產(chǎn)業(yè)競爭格局的影響，可點(diǎn)擊閱讀《攪局者GPT-4已來，AR產(chǎn)業(yè)競爭格局邁入新維度》，但拋開產(chǎn)業(yè)競爭格局來看，“AI+”也會為AR/VR設(shè)備的性能帶來更大的提升。

今年，Meta發(fā)布了用于圖像分割的新模型 Segment Anything Model (SAM)，據(jù)Meta博客表示，SAM已經(jīng)學(xué)會了關(guān)于物體的一般概念，并且它可以為任何圖像或視頻中的任何物體生成 mask，甚至包括在訓(xùn)練過程中沒有遇到過的物體和圖像類型。SAM足夠通用，可以涵蓋廣泛的用例，并且可以在新的圖像領(lǐng)域上即開即用，無需額外的訓(xùn)練。

如下圖所示，SAM能很好的自動分割圖像中的所有內(nèi)容：

圖源：網(wǎng)絡(luò)

未來，SAM有望接入AR/VR設(shè)備， 如用于通過AR眼鏡識別日常物品，用戶僅需要使用目光注視物體，SAM便能夠?qū)τ脩艨吹降漠嬅孢M(jìn)行分割；配合AR眼鏡應(yīng)用，為用戶展示所注視物體的提醒和說明。 

另一方面，大語言模型的發(fā)展可以為AR/VR設(shè)備的語音交互與物體識別帶來更具沉浸式的交互式體驗(yàn)。大語言模型能夠理解更為復(fù)雜的自然語言，完成更復(fù)雜的自然語言處理任務(wù)，進(jìn)而能夠聽懂用戶以語音形式給出的復(fù)雜指令并做出響應(yīng)，增強(qiáng)AR/VR設(shè)備語音交互方式的體驗(yàn)。隨著大模型快速迭代，算力支持不斷堅實(shí)，AR/VR的沉浸式體驗(yàn)的交互方式或更進(jìn)一步豐富。

其次，生成式AI的發(fā)展，也會進(jìn)一步降低AR/VR應(yīng)用中3D創(chuàng)作的成本與門檻，解決AR/VR對3D素材大量的需求。關(guān)于生成式AI對3D創(chuàng)作的影響，陀螺君之前也寫過一篇短文分析，可點(diǎn)擊閱讀《AI 3D創(chuàng)作來了？“搶飯碗”成真》。

圖源：網(wǎng)絡(luò)

最后，“AI+”融合AR/VR的發(fā)展已是產(chǎn)業(yè)發(fā)展的很大趨勢，無論是從蘋果的產(chǎn)品來看，還是Meta最新公布的布局亦或是AI對設(shè)備更新的影響，都表明了充分結(jié)合AI技術(shù)是未來AR/VR產(chǎn)業(yè)發(fā)展重要的一環(huán)。

但值得一提的是，AI的發(fā)展到現(xiàn)在還未看到明確的規(guī)范性文件出來，如果無限制發(fā)展AI給產(chǎn)業(yè)帶來的負(fù)面影響也不可低估，如侵犯用戶隱私、詐騙、數(shù)據(jù)泄露、認(rèn)知偏見等等。

參考文章：

1. https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/
2. https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/
3. 蘋果的人工智能應(yīng)用，跟 ChatGPT 不太一樣
4. 蘋果Vision Pro竟暗藏「腦機(jī)接口」？
5. Apple Vision Pro“泄漏”了蘋果哪些AI能力？