發(fā)布時間：2020-12-27 15:43 | 標簽：
蘋果 Apple Glass LiDAR
微信掃一掃：分享
微信里點“發(fā)現(xiàn)”，掃一下
二維碼便可將本文分享至朋友圈
【文/VR陀螺 小鉆風】蘋果的AR眼鏡遲遲未有定音，蘋果的AR生態(tài)卻正以另一角度悄悄融入大眾視野。繼今年3月搭載LiDAR（激光雷達掃描）的iPad Pro問世后，蘋果宣布新品iPhone12 Pro/Pro Max搭載LiDAR。
雖然一直以來AR眼鏡被視為AR未來的終極形態(tài)，蘋果的Apple Glass呼聲也很高，但蘋果的AR生態(tài)起步則是基于已有的移動端硬件生態(tài)，從軟件與軟件開發(fā)工具ARkit開始。
從移動端入手，蘋果的AR生態(tài)并非一味等待AR眼鏡的到來
2017年6月，蘋果在WWDC上推出移動端AR開發(fā)工具集合ARkit，同年8月谷歌推出ARCore對標ARkit。
這兩者發(fā)布的意義在于幫助AR應用開發(fā)者大大降低了AR應用的開發(fā)難度，讓AR應用的創(chuàng)建變得更為簡單，從而讓開發(fā)者可以專注應用本身的功能與玩法，而且對開發(fā)者免費、沒有硬件要求，因此當時掀起一陣AR開發(fā)熱潮。
ARCore是隨ARkit的腳步推出的，因此被認為是ARkit的模仿者。實際上，谷歌早在2014便推出AR軟件系統(tǒng)Tango，比蘋果整整早了3年，據(jù)稱ARcore便是基于Tango做出的整合升級，所以有網(wǎng)友戲稱谷歌起了個大早趕了個晚集。
然而作為先行者的谷歌與蘋果的思路并不相同，它想要的是AR軟、硬件并行。
因此早期谷歌還嘗試將Tango系統(tǒng)集成至手機硬件上不斷下功夫，率先推出了首款搭載Tango技術的AR智能手機PHAB2 Pro。
其結果是，谷歌的AR智能手機最終沒能奪得市場青睞，最終銷聲匿跡，軟硬件并行的策略夭折不說，反倒讓ARkit成為最大的AR平臺。
蘋果生態(tài)恰好與安卓生態(tài)截然相反，全封閉式生態(tài)使得蘋果對硬件、軟件擁有完全的自主權，這讓很多無解的底層問題變得沒有那么復雜。在發(fā)展初期培養(yǎng)C端AR市場對任何廠商來說都是難以跨越的障礙，蘋果也不例外。所以，蘋果在硬件實力強橫的情況下依舊選擇了算法先行，在兼顧現(xiàn)有蘋果硬件生態(tài)的前提下通過收購疊加自身優(yōu)勢推出ARkit。
而在ARkit推出之后，谷歌同樣選擇了發(fā)布ARCore，從某種程度上來講，可以理解為是對蘋果策略的認同。
從兩者AR的實現(xiàn)方式上看，相比于Tango，ARCore無疑更接近ARkit，兩者都是通過軟件的方式實現(xiàn)，而Tango主要通過特殊硬件模組實現(xiàn)，需要專門的視覺計算芯片、攝像頭、深度攝像頭和傳感器。
相較于需要諸多硬件加持的Tango，很明顯，無硬件要求的ARkit的門檻要低很多。
就目前來看，ARkit是最大的AR平臺，據(jù)稱，蘋果商店AR應用軟件已超10000款。數(shù)量如此龐大，但為何除去當年風靡一時的《Pokeman Go》外，很多人對AR應用依然相對陌生？
蘋果在移動端AR生態(tài)的布局仍處在初期階段。從內容層面來看僅使用ARkit制作的AR應用所能實現(xiàn)的AR效果主要基于算法，而不是硬件層面做出的真實探測，因此所能實現(xiàn)的效果始終受限。
蘋果移動端想要提供更好的AR體驗，就需要更好的傳感器來作為“眼觀六路，耳聽八方”的硬性支撐。
ARkit+LiDAR，蘋果移動端的AR生態(tài)開始進入下個階段
早在2017年蘋果發(fā)布ARkit時，AWE聯(lián)合創(chuàng)始人同時也是Flyby（Flyby被蘋果收購用作ARkit的基礎研發(fā)）聯(lián)合創(chuàng)始人Ori就曾表示希望iPhone X能自帶可以廣泛普及AR的關鍵性硬件：后置深度攝像頭，而不是ARkit。
他期望中的深度攝像頭能讓數(shù)千萬臺相機感知周圍環(huán)境形狀，能讓用戶創(chuàng)建豐富、精確的3D地圖并能夠與其他用戶在AR Cloud上進行分享。
此次iPhone 12 Pro搭載的雷達掃描儀LiDAR正好契合了Ori所期待的后置深度攝像頭，即一個能進行主動交互、主動探測感知環(huán)境的硬件。
蘋果在移動端的努力實際上已經(jīng)過了幾年的沉淀，除了A系列芯片升級至A14外，蘋果iPhone X也開始啟用Face ID，并首次使用OLED全面屏，其屏幕設計盡可能朝“無邊無界”靠近。
2018年，iPhone11開始使用超寬頻（UWB）技術。UWB技術被稱為MR未來的關鍵，能以大帶寬快速傳輸數(shù)據(jù)，能實現(xiàn)短距離精確定位。此前新一代寶馬將采用UWB3.0技術的新聞讓UWB被很多人知曉。
再到今年10月，蘋果搭載LiDAR并同時宣布支持5G，而5G對AR意義非凡。
AR設備需集成高性能計算設備，因此即使蘋果手機在已擁有高性能、低功耗，適用于AR/VR設備的A13 Bionic 芯片的情況下，算力問題依然是困擾iPhone呈現(xiàn)最佳AR效果的一塊絆腳石。而手機搭載A14芯片并支持5G后，可通過高帶寬、低延遲的網(wǎng)絡將運算放到云端，實現(xiàn)輕量化。
一面是5G加速商用化落地的大背景，另一面是已經(jīng)做足了算法準備的ARKit，這兩項技術的鋪墊似乎自然而然引出了LiDAR到來的合適時間。
有了LiDAR的加持，蘋果手機除了拍攝效果的提升外，結合Pro級攝像頭、運動傳感器、iOS內的架構，其AR應用的表達效果無論是在視覺呈現(xiàn)上，還是與現(xiàn)實世界的交互上都會有大幅度提升。蘋果移動端的AR體驗也將進入下一個階段。
廠商中為何只有蘋果選擇了LiDAR傳感器？蘋果如何將LiDAR集成至成像系統(tǒng)？
對于普通消費者來說，似乎LiDAR更像是增強相機功能的一個輔助黑科技，但其實它是為AR而生。LiDAR作為探測器已存在多年，它與現(xiàn)在手機攝像頭多采用的ToF以及傳統(tǒng)雷達相似，都是基于雷達反射原理進行三維空間內的感知和測量。
這三者的區(qū)別在于所發(fā)射的光束不同，LiDAR發(fā)射是紅外激光，ToF發(fā)射的是紅外線，而傳統(tǒng)雷達發(fā)射的是電磁波，三種光束中LiDAR波長最短，在短距離范圍（蘋果對LiDAR的短距離范圍定義為5米）內所能實現(xiàn)的測量精度最高。
因此，LiDAR在雨雪天氣或是夜間攝像頭無法發(fā)揮作用時實用性很強，這項技術受到了自動駕駛、夜間城市拍攝系統(tǒng)的廣泛應用，這也是LiDAR為蘋果攝像效果帶來的好處之一。
但如果只是單純想要提高拍攝效果，LiDAR對蘋果而言不一定就是最好選擇。
iPhone 12 Pro出來后，很多網(wǎng)友拿華為P40 Pro與之進行對比。配備廣角、超寬、3倍遠攝、10倍遠攝以及ToF 五個后部傳感器的華為P40 Pro拍攝效果毫不遜色。
從這里也可以看出，蘋果選擇為iPhone搭載LiDAR并不只是攝像要求這么簡單。
而且LiDAR裝置價格相對昂貴，體型也并非像今天蘋果所搭載的那樣如此小型，可被直接集成到成像系統(tǒng)。蘋果想要在iPhone上實現(xiàn)搭載，需要將價格降到很低并且將尺寸縮得很小。
因此在ToF能基本滿足目前智能手機所需的探測精度、距離等各方面需求時，即便LiDAR會帶來更優(yōu)質的體驗，除蘋果外的手機廠商依然不約而同采用了ToF傳感器。
蘋果其實在對LiDAR的應用與掌握上比一般廠商有優(yōu)勢，因為其一直在研發(fā)的自動駕駛汽車所使用的主要傳感器便是LiDAR。
即便如此，蘋果同樣要解決LiDAR高成本與難以小型化的問題。
早期的LiDAR體型很大而且并非民用，其應用領域多為航天、遙感等大型設備與裝置。隨著固體光源的發(fā)展，其體型才有了逐步減小并被運用到直升機等裝置的機會。借助激光雷達高分辨率的探測，飛行員可在顯示屏上直接看到場景、物體的形狀。
蘋果為了實現(xiàn)在iPhone上搭載LiDAR，據(jù)了解，采用了VCSEL激光+SPAD探測器的技術組合，在使用半導體制造技術制造激光器時選擇了由Lumentum制造的一系列垂直腔表面發(fā)射器（VCSEL）而非邊緣發(fā)射激光器來發(fā)射光束，并采用一組單光子雪崩二極管（SPAD）傳感器來檢測返回的光束。
VCSEL與SPAD都可利用常規(guī)半導體技術制造，并且均可被大量封裝在一個芯片上，兩者的組合大大簡化了傳統(tǒng)激光雷達的設計。
而且半導體隨著行業(yè)經(jīng)濟體量的擴大價格越來越便宜，基于VCSEL的傳感器也越來越普遍，價格逐步走低。這也是蘋果能實現(xiàn)在iPhone上搭載LiDAR的重要原因。
此外，蘋果搭載的LiDAR相較于專業(yè)激光雷達公司制造，探測范圍可達200多米的高端傳感器，其性能還差得很遠，因此在技術上的難度已大大降低。
正是這一系列條件的滿足，讓蘋果成功實現(xiàn)了在移動端搭載LiDAR。
AR眼鏡被視為AR的終級載體，任何有關蘋果AR眼鏡Apple Glass的消息都極易激發(fā)大家的興趣。
一款未被驗明真身的產品能有如此大的吸引力，也只有蘋果能做到了。
如果蘋果的AR眼鏡是蘋果AR生態(tài)的最終走向，那么蘋果現(xiàn)有移動端的AR生態(tài)對AR眼鏡肯定有很強的基礎意義。陀螺君大膽猜測，如果蘋果的AR生態(tài)推行順利，其未來的AR眼鏡內容很多將來自蘋果移動端的適配。
而蘋果在一項遭曝光的專利“具有低光操作的頭戴式顯示器”中表示，搭載LiDAR的頭顯設備能在黑暗環(huán)境中充當佩戴者的第三只眼睛，因此大家普遍推測蘋果的AR眼鏡有可能會搭載LiDAR。
我們不妨借蘋果現(xiàn)有幾款相對典型的AR應用一窺蘋果AR眼鏡未來可能的功能。
1、3D掃描建模應用-《3d Scanner App™》
《3d Scanner App™》被稱為蘋果未來布局AR的重要軟件，其適用于iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。該應用借助LiDAR，可針對無論是小型對象還是大型場景快速創(chuàng)建3D模型。
3D建模原本屬專業(yè)級操作，但隨著AR應用逐步精簡化，開始向建模愛好者甚至是普通用戶過渡，比如正在介紹的《3d Scanner App™》。
該應用操作簡單，打開應用點擊掃描按鈕便可對場景進行快速建模，初步掃描后可通過“Colorize（著色）”功能為無實景顏色的模型添加貼圖，將模型還原成所掃描的場景。
模型呈現(xiàn)效果分辨率雖然不夠高，呈油畫質感。但與價格昂貴的3D掃描機器相比，僅使用移動設備能夠快速建模并還原場景雛形，效果已非常不錯。
陀螺君使用《3d Scanner App™》分別對人和物做了實測，操作起來確實方便，而且掃描過程流暢，中間無卡頓。但是，掃描完成后，如果掃描對象復雜度稍微偏高，尤其是選擇高精度測量時，其等待時間容易讓人懷疑人生。
仔細掃描與粗糙掃描之后得出的效果差別較大，掃描對象的復雜程度對掃描結果也會產生直接影響，粗糙掃描得出來的模型畫質感人。
掃描外觀整齊度高、復雜程度低、不透光的對象，比如墻壁、地板......或者垃圾桶，雖然依然是油畫畫質，但測量精度與還原度都不錯?？梢钥吹较聢D中的垃圾桶尺寸精度與色彩還原度都非常高。
與之形成鮮明對比的是陀螺君對盆景、座機進行的掃描，座機的細節(jié)基本掃描不出來，模型完全是火災過后的畫風。
而盆景由于實物細節(jié)更加豐富，交疊的樹葉基本處于處處透光的狀態(tài)，在陀螺君未進行非常精細掃描的前提下，掃描出來的效果與抱枕、垃圾桶相比差別較大。
《3d Scanner App™》掃描人的效果比想象中好，雖然掃描不夠精細，人物模型也儼然一副沒有靈魂的奇怪樣子，但頭發(fā)的發(fā)色過渡、衣服的紋理、材質等細節(jié)還原度非常高。從大小比例上來看，也能與真實人物保持一致。
通過視頻，我們還可以看到將真實人物與3D模型放在同一個空間時，兩者之間有明顯的遮擋關系，當人物走到模型前面時，雖然會有穿?，F(xiàn)象，但模型明顯被遮擋。這樣的交互便是歸功于LiDAR帶來的深度信息理解。
陀螺君還試過掃描光澤度較好的小型金屬物品，金屬質地反光較為嚴重，掃描出的模型能看出是金屬但細節(jié)嚴重缺失。
整體來看，《3d Scanner App™》在LiDAR的加持下確實實現(xiàn)了速度更快、精度更高的掃描與建模，雖然建模效果在分辨率與細節(jié)上與專業(yè)建模有一定差距。
但未來精度提高后，如果能達到理想狀態(tài)，用戶配戴AR眼鏡有可能實現(xiàn)將任何現(xiàn)實場景建模，并制作出屬于自己的小型孿生世界，如果再結合成熟的3D打印，未來有可能實現(xiàn)一定程度上的“萬物克隆”。
《3d Scanner App™》比照片與視頻的還原度更高，完全是一種新的記錄方式。而且《3d Scanner App™》與3D建模網(wǎng)站SketchFab建立直接聯(lián)系，且針對文件格式、分享、查看方式等細節(jié)做了處理。
因此對用戶而言，從掃描建模到編輯渲染再到分享，線路完整，未來完全有可能成為建模愛好者或者普通用戶的社區(qū)集中地。
陀螺君覺得未來可能出現(xiàn)類似Facebook、Twitter、朋友圈具備分享功能的3D建模爆款應用，用戶遇到想建模的任何對象，用AR眼鏡即可掃描建模上傳并與朋友分享。
2、AR游戲《Angry Birds AR: Isle of Pigs》
AR游戲是AR應用的重要方向之一，《Angry Birds AR: Isle of Pigs》是2019年基于原Angry Birds IP開發(fā)的AR版，該版本使用ARKit開發(fā)，增加了增強現(xiàn)實元素。
AR版在游戲開始前啟用攝像頭對現(xiàn)實環(huán)境進行掃描，以實現(xiàn)環(huán)境與游戲的融合。
玩家在現(xiàn)實環(huán)境選定的范圍內搭建3D游戲建筑，在進行彈射時，可通過在現(xiàn)實世界中移動身體位置來尋找最佳射擊角度。人體在進行移動時，菜單也會隨著玩家移動以保證方向正對著玩家。
陀螺君試玩后發(fā)現(xiàn)，與未搭載LiDAR的版本相比，新版本的《Angry Birds AR: Isle of Pigs》游戲場景對于具備深度信息的真實場景做出的反應并不相同。
從光影效果角度，視頻中我們可以看到，與之前版本無形狀的模糊陰影相比，搭載LiDAR后的版本，游戲畫面中無論是建筑、彈弓還是植物，其陰影輪廓與邊界都很清晰。浮在空中的氣球從手機端看，幾乎完全與真實背景融為一體，看不出是虛擬物體，非常真實。
將畫面放大，畫質依然非常清晰，無論是建筑還是動植物，其細節(jié)呈現(xiàn)效果上佳。搭建的虛擬建筑與地面的穩(wěn)合度非常高，很真實，幾乎完全沒有浮在表面的現(xiàn)象，而且穩(wěn)定性好，即使陀螺君搖晃手機也沒有出現(xiàn)肉眼可見的漂移或是其他不穩(wěn)定的情況。
從這些變化中，我們可以看到ARkit在與LiDAR結合后，AR游戲的交互擬真度進一步提升，其原因就在于LiDAR所具備的深度空間掃描和感知能力。
隨著蘋果手機性能的繼續(xù)迭代，將擁有比A14芯片更加強大的AI算力，未來的AR游戲可能會識別出真實的物體，比如桌面上放的是杯子還是手機，從而觸發(fā)一些虛擬與真實物體的交互。
強交互往往意味著設備中要集成大量的傳感器，以現(xiàn)階段的VR頭顯為例，想要實現(xiàn)6DOF的交互，就一定要集成深度攝像頭，想要輕薄，就只能用超短焦的方案，設備也就只能主打觀影。
所有廠商都在性能、易用性和可落地性方面尋求著一種平衡。而對于蘋果來說，打頭陣的A系列芯片可以在AI算法層面為手機提供很多的AR功能呈現(xiàn)，這就體現(xiàn)在ARKit上，它不占用硬件體積、對消費者而言甚至沒有成本。
而后來LiDAR的使用，是為進一步增強ARKit的性能而出現(xiàn)的——蘋果的思路是用輕量級的軟件、算法裝備硬件，從而讓蘋果設備實現(xiàn)了在嚴格把控成本、設備迭代跨度的情況下一步步賦予蘋果設備越來越強的AR性能。
無疑，未來蘋果的AR生態(tài)會一直走算法服務硬件的路子，這也助力蘋果打造出比同行業(yè)輕薄許多的AR硬件產品來。因此蘋果制造出極度接近眼鏡形態(tài)，與目前行業(yè)內臃腫的AR眼鏡形態(tài)相區(qū)別的產品是有可能實現(xiàn)的。
目前來看，不僅僅是ARkit,蘋果還推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具，讓其移動端的AR生態(tài)布局在軟件、算法層面的完善度不斷增加。
對蘋果而言，現(xiàn)在最缺乏的是好的軟件內容用以吸引用戶適應AR的存在，而蘋果搭載LiDAR的意義正在于此。
陀螺君認為，蘋果AR生態(tài)未來能實現(xiàn)的理想狀態(tài)是將手機移動端用戶遷移至AR眼鏡。當AR眼鏡推出時，其將擁有替代并且超越手機的基礎功能，而手機移動端也已培養(yǎng)出成熟的AR軟件開發(fā)者、融入用戶生活的殺手級應用，以及對AR高接受度的用戶。
以蘋果移動端龐大的用戶基數(shù)、所積累的軟件基礎，以及與安卓截然不同、高度統(tǒng)一的封閉式生態(tài)，如果蘋果能夠成功，那么蘋果AR眼鏡的推出必將會帶來新的浪潮。
投稿/爆料：tougao@youxituoluo.com
稿件/商務合作： 六六（微信 13138755620）
加入行業(yè)交流群：六六（微信 13138755620）
