文/VR陀螺 何萬城

2020年，是世界情勢跌宕起伏的一年，在線下娛樂、社交、餐飲等行業(yè)被生存壓力沖刷的時刻，也是VR/AR行業(yè)充滿機(jī)會的一年。根據(jù)陀螺研究院《2020年VR/AR產(chǎn)業(yè)發(fā)展報(bào)告》數(shù)據(jù)顯示，2020年全球VR頭顯出貨量達(dá)670萬臺，較2019年增長72%，AR眼鏡出貨量40萬臺，增長33%。

從整體行業(yè)環(huán)境來看VR/AR行業(yè)也呈現(xiàn)更加活躍的動態(tài)。如在投融資方面，2020年VR/AR產(chǎn)業(yè)的投融資金額和數(shù)量回到了2017年的高點(diǎn)水平，AR眼鏡、工具軟件、VR/AR游戲、教育培訓(xùn)等成為投融資的熱點(diǎn)領(lǐng)域。

一方面由于特殊時代背景對線上環(huán)境的助力，而另一方面，科技大廠在VR/AR行業(yè)頻繁的動態(tài)，對在其中起伏的中小企業(yè)也產(chǎn)生了蝴蝶效應(yīng)。而回顧過去的大廠動向，也能夠幫助我們更清晰的摸清行業(yè)發(fā)展脈絡(luò)，為此VR陀螺整理了蘋果、Facebook和谷歌在VR/AR方面的軟/硬件、投融資、收購、專利等方面的重大事件。

圖源：網(wǎng)絡(luò)

蘋果VR/AR相關(guān)軟硬件大事件13起；投融資并購事件22起；值得關(guān)注的專利申請共計(jì)28項(xiàng)，詳情如下：

軟/硬件

2017年6月5日，在蘋果WWDC 2017大會上，蘋果發(fā)布了AR開發(fā)工具ARKit，具備SLAM、平面檢測、光照估計(jì)、環(huán)境理解、圖像識別等功能；

2017年9月12日，蘋果正式發(fā)布的iPhone X系列手機(jī)中使用了A11 Bionic芯片，首次集成了神經(jīng)網(wǎng)絡(luò)引擎；以及3D結(jié)構(gòu)光技術(shù)FaceID，通過iPhone X的Face ID可以3D表情Animojis；

2017年9月20日，在正式發(fā)布的iOS11上，新增ARKit蘋果首款應(yīng)用程序《AR Measure》（AR尺子）；

2018年1月25日，蘋果公布ARKit 1.5版本，優(yōu)化了ARKit識別對象的基線準(zhǔn)確度和圖像識別功能，提高了場景捕捉分辨率，增加了對垂直平面識別功能；

2018年6月5日，在蘋果WWDC 2018大會上，蘋果發(fā)布了ARkit 2.0，新增了增強(qiáng)人臉追蹤、真實(shí)感圖像繪制、3D目標(biāo)檢測、穩(wěn)定性體驗(yàn)和多用戶AR互動功能。同時與PIXAR工作室推出全新的AR文件格式：USDZ，這款文件支持3D/AR物品展示，可以跨應(yīng)用使用：用戶可以在Adobe、網(wǎng)頁、iMessage等應(yīng)用中進(jìn)行拖拽展示；以及AR文件預(yù)覽工具AR Quick Look；

2019年6月4日，在蘋果WWDC 2019大會上，蘋果發(fā)了布ARKit 3.0，ARKit 3.0新增了5項(xiàng)功能：人體遮擋、單目動作捕捉、前后攝像頭同時開啟、多面部跟蹤、協(xié)作會議。同時發(fā)布了AR渲染平臺RealityKit，以及3D建模工具Reality Composer；

2019年9月11日，蘋果發(fā)布的iPhone 11首次使用了UBW超寬頻芯片U1，超寬頻技術(shù)讓iphone 11系列更具空間感知能力，可精確定位其他配備U1的蘋果設(shè)備；

2019年10月29日，蘋果發(fā)布的Airpods Pro無線降噪耳機(jī)首次使用了“空間音頻”功能，2020年9月蘋果發(fā)布的iOS 14為AirPods Pro新增了“空間音頻”功能；

2020年1月14日，蘋果發(fā)布了蘋果推出USDZ 3D格式轉(zhuǎn)換工具Reality Converter；

2020年3月18日，蘋果官網(wǎng)發(fā)布了iPad Pro 2020，首次使用了dTOF激光雷達(dá)（LiDAR）；

2020年3月25日，蘋果發(fā)布了ARKit 3.5，ARKit 3.5優(yōu)化和改進(jìn)了運(yùn)動捕捉和人物遮擋功能，新增了對激光雷達(dá)（LiDAR）掃描儀和深度感應(yīng)系統(tǒng)的支持，同時新增了幾何場景、即時 AR兩大功能；

2020年6月25日，在蘋果WWDC 2020大會上，蘋果發(fā)布了ARKit 4.0，ARKit 4.0新增了三項(xiàng)功能，深度API（Depth API）、定位錨（Location Anchoring）和前鏡頭面部追蹤功能；

2020年10月14日，蘋果發(fā)布的iPhone 12 Pro和iPhone 12 Pro MAX上使用了dTOF激光雷達(dá)（LiDAR）。

投融資并購事件

2010年9月，蘋果收購瑞典面部識別技術(shù)公司Polar Rose，Polar Rose已開發(fā)大量面部識別技術(shù)，其中包括FaceCloud，可為任何服務(wù)添加面部識別；FaceLib，面向iPhone和Android平臺的移動解決方案；FaceCore，命令行工具；Recognizr，一款整合人臉識別和增強(qiáng)現(xiàn)實(shí)技術(shù)的工具，蘋果收購后將其整合進(jìn)Aperture、iPhoto和Face ID中；

2013年3月，蘋果收購定位技術(shù)公司W(wǎng)ifiSLAM，這是一家提供室內(nèi)移動位置服務(wù)的公司，它能夠通過Wi-Fi信號定位出用戶在建筑內(nèi)部的位置；

2013年11月，蘋果以3.45 億美元收購以色列著名3D傳感器制造商PrimeSense，微軟第一代體感游戲機(jī)Kinect使用了PrimeSense 的3D 傳感器；

2014年5月，蘋果收購MicroLED公司LuxVue Technology，MicroLED被認(rèn)為是消費(fèi)級AR微顯示屏幕的必然選擇；

2015年，蘋果秘密收購芬蘭室內(nèi)定位公司indoor.io；

2015年3月，蘋果收購德國AR公司Metaio，此前主要是為多種平臺提供增強(qiáng)現(xiàn)實(shí)SDK，包括為Unity平臺做的兼容性插件，被認(rèn)為是蘋果ARKit 的前身技術(shù)；

2015年9月，蘋果收購瑞典面部捕捉技術(shù)公司Faceshift，F(xiàn)aceshift是一家專注于實(shí)時動作捕捉技術(shù)的公司，專利是無標(biāo)記（markerless）面部動畫捕捉技術(shù)，經(jīng)常和游戲、動畫工作室合作，通過3D傳感器實(shí)現(xiàn)快速、準(zhǔn)確的面部表情捕捉，其技術(shù)被整合到蘋果Animoji功能中；

2016年1月，蘋果收購人工智能創(chuàng)業(yè)公司Emotient ，Emotient 利用工智能技術(shù)對人類面部表情進(jìn)行分析，解讀其情緒；

2016年1月，蘋果收購空間感知和計(jì)算公司FLYby Media，其開發(fā)的 V-Fusion 技術(shù)可被應(yīng)用于如室內(nèi)導(dǎo)航、無人汽車、頭戴設(shè)備等多個領(lǐng)域，此前 Flyby Media 還曾與 Google 的 3D 項(xiàng)目 Project Tango 展開合作；

2017年6月，蘋果收購德國眼球追蹤公司SensoMotoric Instruments，SensoMotoric Instruments  公司創(chuàng)立于 1991 年，并開發(fā)了一系列眼球追蹤硬件和軟件，包括虛擬和增強(qiáng)顯示、車載系統(tǒng)，臨床研究、認(rèn)知訓(xùn)練、語言學(xué)，神經(jīng)科學(xué)、身體訓(xùn)練和生物力學(xué)以及心理學(xué)，這家公司的眼球追蹤眼鏡，能夠以120Hz的采樣率實(shí)時和實(shí)時地記錄用戶的自然注視行為。SensoMotoric 還為 Oculus Rift 等虛擬現(xiàn)實(shí)頭戴設(shè)備開發(fā)了眼動跟蹤技術(shù)；

2017年2月，蘋果約200萬美元收購了以色列創(chuàng)業(yè)公司RealFace，RealFace專注于面部識別技術(shù)；

2017年10月，蘋果收購法國圖像識別公司Regaind，Regaind是一家研發(fā)計(jì)算機(jī)視覺識別技術(shù)的廠商，被收購后其技術(shù)后被應(yīng)用到蘋果手機(jī)的面部識別或是動態(tài)表情符功能中；

2017年11月，蘋果收購圖像傳感器創(chuàng)企InVisage Technologies，InVisage公司開發(fā)的QuantumFilm圖像傳感器可以更容易地捕捉光線，這項(xiàng)技術(shù)可以讓相機(jī)做得更薄，并且提高相機(jī)在低光照下的成像水平，這項(xiàng)技術(shù)的應(yīng)用不局限于手機(jī)相機(jī)，在ARKit的硬件上也可以做出貢獻(xiàn)；

2017年11月，蘋果3000萬美元收購加拿大AR初創(chuàng)企業(yè)Vrvana，該公司曾開發(fā)了一款命名為“Totem”的AR頭顯，獲得不錯的評價，但是沒有上市銷售；

2017年12月，蘋果被曝以3.9億美元投資激光傳感器公司Finisar，F(xiàn)inisar公司生產(chǎn)供貨蘋果Face ID系統(tǒng)中使用的垂直腔面發(fā)射紅外激光器以及蘋果無線耳機(jī)AirPods中使用的接近傳感器，這些傳感器能夠?qū)崿F(xiàn)深度感知和接近感應(yīng)，支持蘋果公司的Face ID，Animoji和ARKit等新功能；

2018年8月，蘋果收購AR光波導(dǎo)公司Akonia，該公司主要方向是體全息光波導(dǎo)鏡片，擁有200多項(xiàng)與全息系統(tǒng)和材料相關(guān)的專利；

2018年8月，蘋果被曝已收購以色列計(jì)算機(jī)視覺公司Camerai，Camerai 此前開發(fā)的平臺允許應(yīng)用程序和開發(fā)人員在沒有太多技術(shù)知識的情況下輕松創(chuàng)建 AR 和圖像處理圖形，Camerai的員工后來加入蘋果的計(jì)算機(jī)視覺團(tuán)隊(duì)，其技術(shù)已經(jīng)整合到蘋果產(chǎn)品中；

2018年9月，蘋果收購音樂內(nèi)容識別公司Shazam，該公司的軟件可以通過部分片段來識別音樂名稱，或者電影、電視的名稱，Shazam此前還推出了AR增強(qiáng)現(xiàn)實(shí)功能，該技術(shù)可通過掃描在職、書籍、海報(bào)等產(chǎn)片，然后啟動AR或者360°沉浸式的視頻；

2018年10月，蘋果約以3100萬美元收購丹麥計(jì)算機(jī)視覺公司Spektral，Spektral的技術(shù)能以智能的方式在照片和視頻中將人和物體從原始背景中分離出來，生成AR視頻；

2019年10月，蘋果收購英國動作捕捉公司IKinema，IKinema是一家主要提供為游戲和虛擬現(xiàn)實(shí)等行業(yè)提供動畫技術(shù)的動捕公司，專業(yè)從事于支持虛擬角色實(shí)現(xiàn)實(shí)時動畫的技術(shù)，IKinema的動作捕捉技術(shù)已經(jīng)被微軟、迪斯尼、福克斯和騰訊等客戶使用；

2020年5月，蘋果1億美元收購VR內(nèi)容直播公司NextVR，NextVR擁有從拍攝、壓縮、傳輸和內(nèi)容顯示等40多項(xiàng)VR專利技術(shù)，專注于為VR提供實(shí)時內(nèi)容，比如體育和演唱會。該公司還與NBA達(dá)成協(xié)議，對2019年的NBA總決賽的精彩瞬間進(jìn)行了VR轉(zhuǎn)播；

2020年8月，蘋果收購VR初創(chuàng)公司Spaces，Spaces在2016年由夢工廠動畫公司（DreamWorks Animation）中兩位負(fù)責(zé)VR技術(shù)的元老Shiraz Akmal和Brad Herman聯(lián)合創(chuàng)辦，公司在VR、AR、MR等領(lǐng)域均有所研究，與微軟、NBC環(huán)球等公司均有相關(guān)業(yè)務(wù)往來，Spaces曾經(jīng)為視頻會議平臺Zoom提供了VR套件和相關(guān)技術(shù)支持，使得Zoom用戶可以通過虛擬人物形象和可交互的虛擬白板來進(jìn)行項(xiàng)目匯報(bào)、講座或其他工作。

 專利

2016年8月，美國專利商標(biāo)局公布了專利號為“20160238834”的蘋果專利，該專利描述了“一個掃描深度引擎，包含一個發(fā)射光脈沖的發(fā)射器，一個用于在特定范圍內(nèi)掃描環(huán)境光線的掃描器”的3D混合掃描技術(shù)；

2017年4月，美國專利商標(biāo)局公布了一項(xiàng)來自于蘋果收購Metaio公司的專利，該專利主要內(nèi)容為：將虛擬對象與真實(shí)環(huán)境相融合；

2017年6月，美國專利商標(biāo)局公布了專利號為“9,681,096”的蘋果專利，該專利描述了一種與沉浸式增強(qiáng)現(xiàn)實(shí)、實(shí)時顯示墻、頭戴式顯示器和視頻會議應(yīng)用程序相關(guān)并可用于圖像捕捉和處理的光場相機(jī)技術(shù)；

2017年10月，美國專利商標(biāo)局公布了專利號為”20170295361“的蘋果專利，其涉及圓頂、移動或頭戴式顯示器虛擬現(xiàn)實(shí)應(yīng)用程序的單視場（1個視圖）或立體視場（2個視圖）180度或360度攝影和后期制作；

2017年11月，美國專利商標(biāo)局公布了專利號為“9,824495”的蘋果專利，該專利描述了一種用于捕捉現(xiàn)實(shí)世界圖像，檢測圖像中的對象，“幾何重建”對象的虛擬呈現(xiàn)，然后再把虛擬對象作為AR對象疊加在真實(shí)世界視圖，主要內(nèi)容為識別圖像中的對象作為AR虛擬物體；

2018年3月，美國專利局公布了若干蘋果專利，其中名為“Predictive, Foveated Virtual Reality System”的專利可根據(jù)注視點(diǎn)實(shí)現(xiàn)多重分辨渲染；名為“Head-Mounted Display Apparatus for Retaining a Portable Electronic Device with Display”的專利描述了一款支持用戶從一側(cè)插入智能手機(jī)的頭顯設(shè)備；名為“Display System Having World and User Sensors”的專利描述了一款采用頭戴式顯示器的混合現(xiàn)實(shí)系統(tǒng)，能夠提供包含虛擬內(nèi)容的環(huán)境3D虛擬視圖；

2018年4月26日，美國專利商標(biāo)局公布了專利號“20180113508”的蘋果專利，該專利描述了一種通過眼睛旁邊的攝像頭跟蹤眼睛運(yùn)動的方法和僅反射不可見紅外光的“熱”鏡的眼動追蹤技術(shù)；

2018年8月，美國專利及商標(biāo)局公布了一份名為”Processing of Equirectangular Object Data to Compensate for Distortion by Spherical Projections“的蘋果專利，此專利能夠?yàn)閂R提供更好的360度視頻拼接；

2018年9月，蘋果在歐洲申請的顯示器專利通過，專利內(nèi)容是一款用于支持AR，VR和全息內(nèi)容的頭顯。且透鏡可調(diào)，頭顯將能夠通過Siri進(jìn)行控制；

2018年11月，美國專利商標(biāo)局公布了名為“Display with Holographic Angle-of-View Adjustment Structures（包含全息視角調(diào)節(jié)層結(jié)構(gòu)的顯示器）的蘋果專利，此專利主要涉及到全息光波導(dǎo)技術(shù)；

2019年3月，美國專利商標(biāo)局公布了名為“Depth Map Calculation In A Stereo Camera System立體攝像頭系統(tǒng)中的深度圖計(jì)算“的蘋果專利，專利描述了生成深度圖的方法；名為“Systems With Keyboards And Head-Mounted Displays”的蘋果專利描述了通過物理鍵盤、觸控屏幕、數(shù)據(jù)手套、接近傳感器、攝像頭、以及其他輸入-輸出設(shè)備為VR設(shè)備實(shí)現(xiàn)虛擬鍵盤的方法；名為”Waveform Design For A Lidar System With Closely-Spaced Pulses”的專利描述了通過激光脈沖實(shí)現(xiàn)3D手勢控制的方法；

2019年10月，美國專利商標(biāo)局公布了名為“Method And Device For Illustrating A Virtual Object In A Real Environment（在真實(shí)環(huán)境中描畫虛擬對象的方法和設(shè)備）”的蘋果專利申請，此專利可以實(shí)現(xiàn)“虛實(shí)遮擋”；名為“Displays with Collimated Light Sources and Quantum Dots（準(zhǔn)直光源與量子點(diǎn)顯示器）”的專利技術(shù)可將全息層和全息元件集成至量子點(diǎn)顯示器之中；

2020年3月，美國專利商標(biāo)局公布了一份名為“Display System With Interchangeable Lens”的蘋果專利。此專利描述了包含可換透鏡的頭戴式設(shè)備；

2019年6月，美國專利商標(biāo)局公布了一份名為“Stereoscopic Rendering Of Virtual 3d Objects（虛擬3D對象的立體渲染）”蘋果專利，專利描述了通過為每一個左眼視點(diǎn)和右眼視點(diǎn)創(chuàng)建等量矩形投影，實(shí)現(xiàn)虛擬3D對象立體渲染的技術(shù)；

2019年7月，美國專利商標(biāo)局公布了一份名為“Head Mounted Eye Tracking Device And Method For Providing Drift Free Eye Tracking Through A Lens System（頭戴式眼動追蹤設(shè)備及通過透鏡系統(tǒng)提供無漂移眼動追蹤的方法）”的蘋果專利，該專利能夠?qū)崿F(xiàn)無漂移眼動追蹤；

2019年8月，美國專利商標(biāo)局公布了一份名為“Coordinated Tracking For Binaural Audio Rendering（用于雙耳音頻渲染的協(xié)調(diào)追蹤）”專利，該專利可為頭戴顯示器實(shí)現(xiàn)空間聲場；

2019年10月，美國專利商標(biāo)局公布了名為“Reconstructing Views Of Real World 3d Scenes”的蘋果專利，該專利主要內(nèi)容為通過RGB-D傳感器（例如RGB-D攝像頭）實(shí)現(xiàn)即時定位和地圖構(gòu)建（slam)；

2020年2月，美國專利商標(biāo)局公布了名為“Waveguided Display System With Adjustable Lenses”的蘋果專利，該專利主要描述了一種包含可調(diào)透鏡的波導(dǎo)顯示系統(tǒng)，并通過可調(diào)透鏡來實(shí)現(xiàn)所需的光學(xué)特性；名為“Electronic Device With Optical Sensor Interference Mitigation Structures”專利則可以實(shí)現(xiàn)系統(tǒng)無縫透明化，實(shí)現(xiàn)AR、VR切換；

2020年3月，美國專利商標(biāo)局公布了名為“Display System With Interchangeable Lens”的蘋果專利。該專利描述了包含可換透鏡的頭戴式設(shè)備；

2020年4月，美國專利商標(biāo)局公布了名為“Sensor Fusion Eye Tracking”的蘋果專利，其主要描述了用于智能手機(jī)或平板電腦等設(shè)備的遠(yuǎn)程眼動追蹤系統(tǒng)和方法；

2020年6月，美國專利商標(biāo)局公布了名為“Gaze-Driven Recording Of Video”的蘋專利，專利內(nèi)容為錄制AR內(nèi)容視頻的解決方案；名為“Pupil Expansion”的蘋果專利，內(nèi)容為光瞳擴(kuò)展的解決方案；

2020年7月，美國專利商標(biāo)局公布了名為”Privacy Screen“的蘋果專利，專利內(nèi)容為一種AR“隱私模式”的解決方案；名為“Display System With Virtual Image Distance Adjustment And Corrective Lenses（具有虛擬圖像距離調(diào)整功能和校正透鏡的顯示系統(tǒng)）”的蘋果專利主要為近視用戶提出”磁吸夾卡式醫(yī)學(xué)鏡片”解決方案；名為“Predictive Head-Tracked Binaural Audio Rendering”的蘋果專利主要內(nèi)容為AR/VR頭顯頭部追蹤空間音頻解決方案；

2020年8月，美國專利商標(biāo)局公布了兩項(xiàng)蘋果的專利：搭配AR眼鏡使用的骨傳導(dǎo)音頻系統(tǒng)專利、可直接實(shí)現(xiàn)摳像合成的MR頭戴設(shè)備專利；

2020年10月，美國專利商標(biāo)局公布了名為“Keyboard Operation With Head-Mounted Device”技術(shù)，該專利可實(shí)現(xiàn)AR/VR設(shè)備支持投射于任意表面的虛擬鍵盤；

2020年11月，美國專利商標(biāo)局公布了名為“Multiple User Simultaneous Localization And Mapping”蘋果專利，該專利為可實(shí)現(xiàn)AR的多人SLAM技術(shù)；

2020年12月，美國專利商標(biāo)局公布了名為“Structural Thermal Solutions For Display Devices”的蘋果專利，該專利解決散熱問題；名為“Display System With Localized Optical Adjustments（具備局部光學(xué)調(diào)整功能的顯示系統(tǒng)）”的蘋果專利內(nèi)容為通過可調(diào)光學(xué)元件調(diào)整真實(shí)世界對象的亮度，從而增加虛擬對象的可見性；名為“Display And Vision Correction System With Removable Lens”的蘋果專利，描述了AR/VR頭戴設(shè)備的近視眼鏡設(shè)計(jì)方案；

2021年1月，美國商標(biāo)專利局公布了名為“Object tracking for head-mounted devices”的蘋果專利，提出outside-in的追蹤器解決方案；名為“ Scene camera retargeting”的蘋果專利，描述了利用“場景攝像頭重定向”提高VR頭顯的透視MR效果的解決方案；

2020年2月，美國商標(biāo)專利局公布了名為“Head-Mounted Display Unit With Adaptable Facial Interface”的蘋果專利，描述了“如何防止頭戴式顯示器因面部運(yùn)動而移動”的多項(xiàng)設(shè)計(jì)元素，增加用戶佩戴時的靈活性、提升舒適度的解決方案。