本文系投稿,作者:劉哲
有關3D-AR系列文章,此為第一篇
從電腦到手機,再到頭顯,核心變革是計算機從二維到三維。之前受限于技術的瓶頸,電視、電腦、手機均是以二維平面為核心設計的計算機生態(tài)。但現實環(huán)境、人類生活本身是三維立體的,導致二維的計算機與三維的現實環(huán)境是完全割裂的。2010年三維空間感知技術的出現,計算機逐漸能像人一樣感知三維空間的長、寬、高,能夠實現空間定位、運動追蹤、虛擬遮擋等功能,全球科技巨頭開始探索和開發(fā)三維計算機。
蘋果首款設備Vision Pro發(fā)布,意味著基于空間計算的三維計算機生態(tài)開始商業(yè)化。蘋果2023年發(fā)布的首款頭顯,是從芯片、集成電路,到計算機硬件、操作系統(tǒng)、軟件工具等,完全以空間三維建立的一套全新的三維計算機系統(tǒng),進而幫助人類在現實世界中構建起一套平行的三維計算機世界,從而實現三維內容交互,讓人類工作、生活更加富有效率,這是新一輪人機交互變革,也是新一輪信息技術產業(yè)革命。
全新的三維內容應用生態(tài)。蘋果、微軟、谷歌、Meta等花費十年時間,難道是讓人們帶個笨重的頭顯,來看二維的圖片、視頻的嗎?新的生態(tài)體系,是以三維內容為主的虛擬與現實的融合交互,包括游戲、電商、廣告、教育、文博、旅游、家居等全新應用生態(tài)。三維內容交互,將成為人們日常應用,無處不在,是新一代互聯(lián)網生態(tài)體系。整個計算機系統(tǒng),將使人類現實生活在效率、體驗上大幅提升。
3D內容迎來十萬億級新藍海。隨著科技的發(fā)展、計算機的不斷迭代,大眾傳播介質經歷了“文字-圖片-視頻”,而基于空間計算的三維計算機時代,信息傳遞的核心介質是3D內容,即3D模型。3D內容將從極小眾市場,變成C端日常交互和應用的十萬億級市場,開啟全新藍海。
3D內容生產—最大剛需和難點。一個三維內容開發(fā)(AR應用),需要多個乃至十個3D模型(如現實環(huán)境中虛擬的盆栽、虛擬的寵物、虛擬的購物包包)。根據蘋果及業(yè)內共識,3D模型是目前AR生態(tài)開發(fā)中最困難、最昂貴的環(huán)節(jié),一個模型的生產周期在數小時到幾天時間,成本在幾百美元到上千美元。
3D內容的生產,其重要性僅次于蘋果為代表的頭顯設備。面對著未來十年全球數十萬億級3D內容市場,以及面臨的技術、商業(yè)、成本難題,誰掌握了精度高、還原度高、效率快、成本低的3D內容生產技術,誰就掌握了下一個數字世界的生產工具。全球科技巨頭均在投入攻關3D內容生產的關鍵環(huán)節(jié),以蘋果、微軟、谷歌、Meta為代表的全球科技巨頭近幾年紛紛收購和研發(fā)進入領域,中國軍團深耕十余年擁有技術和商業(yè)優(yōu)勢,這將開啟一場全球科技產業(yè)爭霸的新篇章。
一、計算機:從2D升級到3D
計算機發(fā)展幾十年,經歷了幾次革命性變革。
第一次變革—PC時代的信息數字化。上世紀80年代的計算機的發(fā)明、圖形界面的應用,PC時代的核心是信息數字化。
第二次變革—手機時代的社交生活數字化。以蘋果2007年推出iPhone為標志,移動互聯(lián)網席卷而來,核心是社交生活數字化。
第三次變革—頭顯/眼鏡時代的三維內容交互。以蘋果2023年發(fā)布的Vision Pro為標注,將開啟基于空間計算,全新的三維計算機及三維內容生態(tài)。
信息產業(yè)變革的核心,圖源:網絡
(一)全新的3D硬件
二維計算機生態(tài)與三維人類現實生活的悖論。之前受限于技術的瓶頸,算力的不足,電視、電腦、手機均是以二維平面為核心設計的計算機生態(tài)。但現實環(huán)境,人類生活本身是三維立體的。二維的計算機與三維的現實環(huán)境是完全割裂的,人們使用計算機,就必須進入二維屏幕的內容生態(tài),而脫離了現實環(huán)境。
2010年三維空間感知技術出現,打造三維計算機成為可能。隨著攝像頭和算力提升,計算機能像人一樣感知三維空間的長、寬、高,能夠實現空間定位、運動追蹤、虛擬遮擋等功能,這意味著計算機世界可以在現實環(huán)境中構建。
硅谷三巨頭—蘋果、微軟、谷歌同時認識三維計算機生態(tài)的戰(zhàn)略意義和商業(yè)價值,開始探討和著手打造下一代計算平臺。
2012年,谷歌率先推出全世界第一款3D設備-谷歌Glass,面向C端市場,但因各種不成熟而銷聲匿跡。2014年,谷歌卷土重來,推出AR手機-Tango,其增加了具備深度感知功能的激光攝像頭,手機廠商聯(lián)想與華碩承做,但效果不佳隨后放棄。2017年蘋果推出ARkit,谷歌重啟AR項目。
2015年,準備了五年的微軟選擇先B端后C端的路線,推出了第一款在B端能夠商用的3D設備-Hololens,2019年推出了Hololens 2。Hololens在工業(yè)、醫(yī)療、商業(yè)發(fā)展迅速,并獲得美國陸軍4.8億合同。
習近平主席2015年參觀體驗微軟3D眼鏡-Hololens,圖源:央視新聞
蘋果首款設備Vision Pro,意味著真正開始商業(yè)化。蘋果實際上是與谷歌、微軟同一批開展打造新計算機平臺中心的巨頭,蘋果頭顯研發(fā)已經有七年,也就是2016年開始研發(fā),考慮到研發(fā)前的技術儲備、相關公司收購,立項和探索實際上始于喬布斯在世的2011年左右。
在全球科技巨頭均發(fā)布相關頭顯設備時,為什么蘋果會最后發(fā),因為蘋果一向以產品是否足夠好、能否商業(yè)化推廣作為推出的唯一標準,雖然其設備先進性、成熟度方面遠高于同類公司。
蘋果2023年發(fā)布的首款頭顯,是從芯片、集成電路,到計算機硬件、操作系統(tǒng)、軟件工具等,完全以空間三維建立的一套全新的三維計算機系統(tǒng),進而幫助人類在現實世界中構建起一套平行的三維計算機世界,從而實現三維內容交互,讓人類工作、生活更加富有效率,這是新一輪人機交互變革,也是新一輪信息技術產業(yè)革命。
蘋果Vision Pro強調對空間感知及3D內容體驗,圖源:蘋果
3D硬件發(fā)展史,圖源:網絡
(二)全新的3D操作系統(tǒng)
不單是3D硬件設備,科技巨頭打造了全新的3D操作系統(tǒng)。有別于電腦、手機,新的頭顯設備增加了大量用于三維空間感知、三維內容交互的元器件,如激光攝像頭、多個攝像頭并行、各種傳感器等,其配套的操作系統(tǒng)是基于三維空間計算而開發(fā)構建的,與之前二維操作系統(tǒng)完全不一樣。
1、蘋果
visionOS提供了兩種類型的應用:Windows(2D窗口)和Volume(同時會支持2D窗口和3D內容,更適合3D)。
Apple Vision Pro開發(fā)界面展示,圖源:蘋果公司
蘋果2D-3D開發(fā)跨越,圖源:蘋果公司
蘋果新系統(tǒng)的開發(fā)體系,圖源:蘋果官方
蘋果希望新內容開發(fā)首選3D,圖源:蘋果公司
2、其他公司
國內眾多AR眼鏡/頭顯,其3D操作系統(tǒng)基本上由虹宇科技提供。AR眼鏡公司Xreal,在CES 2020年發(fā)布的星云系統(tǒng),即是全新的3D系統(tǒng)。
圖源:虹宇科技
Xreal發(fā)布的操作系統(tǒng)—3D System,圖源:Xreal
新設備傳輸的核心是3D內容,圖源:虹宇科技
(三)3D軟件工具及生態(tài)
為構建新的三維內容生態(tài)體系,除了硬件設備、操作系統(tǒng)外,以蘋果為代表的科技巨頭近些年構建了一系列配套的3D軟件生產工具。
1、蘋果
計算機從2D升級到3D,蘋果相繼打造了3D空間感知(LiDAR以及其他攝像頭)、3D實時計算(R1芯片)、3D交互方式(手勢交互)、3D數據格式(USDZ)、3D空間音頻技術、3D軟件生態(tài)工具(Reality Composer、RealityKit、Reality Converter)。
2018年推出3D全新文件格式USDZ,支持3D/AR物品展示,支持跨應用,用戶可以在Adobe、網頁、iMessage等應用中進行拖拽展示。同時推出AR購物AR Quick Look,零售商通過上傳3D模型提供產品的AR預覽。
2019年推出三維場景設計工具Reality Composer和AR渲染平臺RealityKit,進一步提供滿足基于3D數據的復雜AR場景。
2020年1月,蘋果推出Reality Converter,使開發(fā)人員能將常見的3D文件格式轉換成Pixar的USDZ格式,Reality Converter可以預覽OBJ,GLTF和USD文件在USDZ中的顯示方式,同時處理紋理和修改文件元數據,然后將其轉換為USDZ。
2021年6月,蘋果推出Object Capture小工具,主要是小體量、規(guī)則完整的3D物體的3D數字化,但實踐效果欠佳。
2022年6月,蘋果推出LiDAR攝像頭,主要是用于3D空間感知定位,讓后續(xù)3D-AR投放效果更佳精準。
蘋果構建的3D數據軟件生態(tài),圖源:網絡
蘋果構建的3D數據軟件生態(tài),資料來源:蘋果官方
蘋果新計算機系統(tǒng)中鼓勵3D內容開發(fā),資料來源:蘋果公司
蘋果強調的3D空間設計-對于3D數據投放,圖源:蘋果公司
隨著3D硬件設備、3D操作系統(tǒng)、3D軟件工具的開發(fā)、迭代和升級,計算機將從之前的二維世界進入到全新的三維世界,互聯(lián)網內容生態(tài)也將面臨全面3D化。
APP將不再局限于二維世界,圖源:蘋果官網
蘋果可以直接從網頁中摘取3D內容到現實環(huán)境中,圖源:蘋果官網
二、全新的三維內容應用生態(tài)
蘋果、微軟、谷歌、Meta等花費十余年時間研發(fā),就是為了讓人們帶個笨重的頭顯,來看二維的圖片、視頻的嗎?AR/VR主要應用是看二維的圖片、視頻嗎?
2022年12月,亞馬遜首席技術官Werner Vogels:
創(chuàng)新快速增長的領域是空間計算,互聯(lián)網上的靜態(tài)2D產品圖片將成為過去,取而代之的是3D模型,3D內容很快就會像視頻一樣普及。3D對象和環(huán)境將像你今天最喜歡的社交媒體短視頻一樣容易創(chuàng)建和使用。你可以拿起、旋轉這些模型并將其放置在客廳,就像你今天在網頁瀏覽器中看到的那樣自然。一盞虛擬燈不僅會放置在您客廳的地板上,你還將可以打開和關閉它,實時觀察環(huán)境光如何與您的虛擬家具互動,并了解它對你能源消耗的影響。
2018年,Oculus種子投資者Castle:
AR將需要巨大的數據集來傳輸。這包括高質量的3D模型,在低功率設備之間來回傳輸,以及可能超過無線設施的工作范圍。這一挑戰(zhàn)為技術和通信協(xié)議的改進提供了巨大的機會。該行業(yè)還將要求大規(guī)模實現真實世界物品的無縫數字化。零售將被增強現實/虛擬現實技術改變。就像消費者不會購買沒有產品照片的電子商務產品一樣,我們最終將生活在一個消費者將會與他們感興趣的產品的3D模型互動的世界里。
2017年,優(yōu)酷創(chuàng)始人、阿里巴巴大文娛主席古永鏘
10年后,人們無論在路上、辦公室還是家里的任何場景,都有可能將體驗到360°的3D內容。
蘋果構建起的新生態(tài)體系,是以三維內容為主的虛擬與現實的融合交互。三維內容交互,將成為人們日常應用,無處不在,是新一代互聯(lián)網生態(tài)體系。整個計算機系統(tǒng),將使人類現實生活在效率、體驗上大幅提升。
三維內容交互與娛樂是核心,圖源:網絡
蘋果新設備主要開發(fā)3D內容APP,圖源:蘋果官網
(一)游戲
游戲行業(yè)之前主要是基于二維平面的手機游戲、電腦游戲,里面部分采用3D數據,而蘋果生態(tài)體系下,將是虛實融合、強調全方位、沉浸性的3D-AR游戲體驗,其3D內容也與之前手機端的2D游戲、“3D”游戲有著本質區(qū)別。
蘋果AR游戲展示,圖源:蘋果官網
蘋果AR游戲-國際象棋,圖源:蘋果官網
蘋果展示的3D保齡球交互,視頻來源:蘋果官網
(二)電商
蘋果一直都看好3D-AR電商在其生態(tài)體系、Vision Pro的應用。蘋果在2017年發(fā)布ARkit時,就與宜家合作推進3D-AR電商。隨著Vision Pro的推出,軟件功能的不斷完善,3D-AR電商會逐漸成為主流電商模式。
京東推出天工計劃,吸引全球最多的3D數字化團隊。2016年,京東發(fā)布VR/AR戰(zhàn)略,開始構建商品3D數據,吸引全球100多支3D數字化技術團隊。2017年4月,京東發(fā)布天工計劃1.0,同時發(fā)起了人工智能3D建模大賽,意圖選拔低成本、高質量、高效率的自動化建模團隊。2017年12月,重點是打造AR開放平臺,加快商品的三維化展示進程。2018年5月,京東“天工計劃”正式升級至3.0階段,致力于開發(fā)AR終端解決方案。
阿里巴巴AR-GO,打造“造物神”計劃。阿里巴巴2017年嘗試AR,AR購物AR-GO首次出現在2017年2月的天貓家裝節(jié)中,消費者可以將各類家具以1:1的比例擺放在自己家中,查看家裝實景效果。2017年7月,淘寶購物節(jié)直接使用了AR購物直播。與京東類似,阿里推出“造物者”計劃探索商品三維建模方案。2020年5月,天貓618宣布開啟3D購物時代,首次將3D購物技術大規(guī)模應用于宜家等100個商業(yè)體。
亞馬遜AR View,搭建AR應用場景。2017年11月2日,亞馬遜推出名為 AR View 的新功能。AR View它可以在客戶訂購產品之前向客戶展示該產品在家中擺放的3D效果透視圖,用戶可以對虛擬商品進行移動、旋轉、縮放等操作,全方位多角度的預覽商品放置后的效果。
此外,2020年廣交會應用了3D技術,給采購商帶來真實的購物體驗。蘋果庫克2021年9月發(fā)布會后表示:AR已經是一種很好的購物方式。
3D商品展示及AR商品展示,圖源:網絡
蘋果曾展示的3D電商,圖源:網絡
(三)廣告
隨著3D-AR生態(tài)的發(fā)展,3D-AR廣告將是一種新的形態(tài),將更具有沉浸性和交互性,3D模型將成為其媒介基礎。
部分3D數據展示,圖源:網絡
(四)音樂
蘋果在23年WWDC中演示了一款3D-AR應用,可以將虛擬的3D光碟、音樂器械投放在現實環(huán)境中,人們用手操作虛擬的光碟,會演奏出惟妙惟肖的音樂。暢享下,后續(xù)聽周杰倫的歌曲,可以將周杰倫的3D影像投放在現實環(huán)境,邊跳邊唱。
圖源:蘋果
(五)教育
新的生態(tài)體系,對于教育行業(yè)有著極大的促進作用。如上地理課,就可以將地球儀投放在現實環(huán)境中。上物理課,可以投放處虛擬的實驗室進行操作。
AR地球儀,視頻來源:蘋果官網
(六)工業(yè)
工業(yè)端主要與數字孿生相結合,可以呈現工廠的內部面貌,展示相關的生產工藝流程。
圖源:網絡
(七)文博
隨著3D/AR生態(tài)的發(fā)展,博物館將以3D/AR的形式傳播,讓文物“活過來”,用戶將能在家中體驗和參觀文物。
蘋果與BBC合作的文博,圖源:蘋果官網
3D文物展示,圖源:鄭州文物館
(八)醫(yī)療
3D醫(yī)療,圖源:蘋果
(九)家居
宜家推出的《IKEA Place》基于蘋果2017年ARkit可以放置單件AR家具和裝飾,而《IKEA Studio》基于iPhone 12 Pro和iPhone 12 Pro Max上的激光雷達獲得3D房間和測量數據,可以讓用戶布置整個房間。
宜家《IKEA Place》3D家居擺放,圖源:宜家
(十)IP
蘋果WWDC期間,展示了部分迪士尼IP的demo,如虛擬3D的米老鼠可以從沙發(fā)上跳躍到桌椅上。虛擬的3D城堡、玩家可以在現實環(huán)境中進行展示和交互。
迪士尼的3D米老鼠在現實環(huán)境,圖源:蘋果官網
迪士尼3D城堡,圖源:蘋果官網
三、3D內容—迎來十萬億級市場新藍海
(一)3D模型是三維內容的基礎
現實中,環(huán)境空間是三維立體的,所有物體是三維立體的。蘋果主打的增強現實、空間計算,在現實環(huán)境中投放的必然是與之匹配的三維立體數據,即3D模型。實際上,AR的內容應用(游戲、電商、廣告、音樂、教育、工業(yè)、文博等)幾乎都是與3D模型進行交互,這也是AR的前綴叫3D-AR的原因。
AR的內容應用幾乎全是與3D模型交互,圖源:B站,蘋果官網
(二)互聯(lián)網生態(tài):“圖片、“視頻”到“3D”
隨著科技的發(fā)展、計算機的不斷迭代,人機交互經歷了從電視、電腦到手機,大眾傳播介質也經歷了“文字-圖片-視頻”。之前在手機、電腦上有少量3D數據,但二維平面無法發(fā)揮3D的沉浸性、強展示、強交互等特點。隨著三維的頭顯普及,互聯(lián)網生態(tài)將面臨全面3D化,信息傳遞的核心介質將會是3D內容,即3D模型。
二維時代向三維時代跨越,圖源:網絡
傳播數據格式的變遷,圖源:Adobe
(三)3D內容-未來十萬億級市場
蘋果的Vision Pro,其完成度其實高于2007年iPhone,2007年iPhone連復制粘貼功能都未做好,2008年才出現App Store。體驗過設備的人均非??矗?萬多元人民幣的價格,對于全球海量的富裕人群、中產人士,價格并不算太高。要知道最新的Mac電腦售價都過萬元。蘋果核心要解決的是產能問題,根據電子產業(yè)鏈規(guī)律,良品率的大幅提升在未來幾年是大概率事件。
根據高通、IDC估計,2024年XR硬件銷售將達57萬臺,是2021年近5倍。根據ARK預測,AR眼鏡將在未來10年快速增長,在C端大規(guī)模普及,預計在2030年AR硬件市場將高達1300億元。
未來XR頭顯出貨量,數據來源:高通、IDC
ARK預測2030年AR硬件市場達到1300億美元,數據來源:ARK
頭顯設備之前,3D內容之前僅極少應用于游戲、3D電影中。隨著蘋果硬件、軟件體系的不斷迭代,三維內容應用生態(tài)的不斷拓展,在C端逐漸普及和商用化,將帶動大量的3D內容需求。3D內容市場將從小眾市場轉變成C端消費的數十萬億級市場。預計2026年全球超過5000億元(頭顯設備已具備一定規(guī)模,大量三維應用出現),2030年達到數十萬級別(頭顯設備像手機一樣普及,3D內容應用類似于當前互聯(lián)網的視頻)。
3D內容市場規(guī)模預測,數據來源:網絡
四、3D內容生產—最大剛需和最大難點
未來十年全新的3D-AR時代,需要十萬億級的以3D模型為基礎的3D內容。但目前的二維照相機無法生產三維內容數據,目前主要是依賴專業(yè)的3D設備獲取。3D內容(3D模型)生產屬于全世界最大難題,也是在生態(tài)中僅次于頭顯的核心環(huán)節(jié)。
3D創(chuàng)作過程,視頻來源:Adobe
蘋果認為(業(yè)內也公認),3D數據是AR生態(tài)開發(fā)最困難、最昂貴的環(huán)節(jié)。AR應用基本上是和3D模型進行交互,一個AR應用可能會涉及多個甚至數十個3D模型(如房間里虛擬的植被、虛擬的寵物狗、投放出周杰倫現場唱歌,均是3D模型)。但一個3D模型的內容生產就需要花費數周時間。這也是之前3D游戲、3D電影成本極高的原因。
蘋果WWDC2021演講內容,圖源:蘋果
全球最大3D內容公司Sketchfab顯示,3D模型生產周期在數小時到數天,生產成本平均高達千元以上。根據全球最大、最權威3D數據平臺公司Sketchfab數據,3D模型成本在數百美元到數千美元間,生產所需時長從數小時到數天不等。不同的模型、不同的精細度、不同的生產方法,價格和生產時間均不一樣。創(chuàng)建3D模型的成本取決于模型的復雜性、質量、以及創(chuàng)建模型的方法。正因為3D模型的高價值和難生產,Sketchfab2021年已被3D引擎公司Epic Games高價收購。
全球生產3D模型的費用,數據來源:Sketchfab
全球生產3D模型的費用,數據來源:Sketchfab
(1)3D 模型的成本——簡單的復雜性:40 - 250 美元
(2)3D模型的成本——中等復雜度:180 - 650 美元
(3)3D 模型的成本——非常高的復雜性 > 650 美元
實際上,整個計算機體系由信息輸入和信息輸出組成。在二維計算機世界中,我們每天使用的照片、電影、電視劇、短視頻、直播,應用載體是電視、電腦和手機,而信息輸入端是二維照相機技術的高度成熟,只是這個常識容易被人們忽略。
三維內容的生產,是下個十年3D內容生態(tài)的信息輸入,其重要性僅次于蘋果為代表的頭顯設備。面對著未來十年全球數十萬億級3D內容市場,以及當前面臨的技術、商業(yè)、成本難題。誰掌握了精度高、還原度高、效率快、成本低的商業(yè)化3D數字化技術,誰就掌握了下一個數字世界的生產工具,它將帶來無限的商業(yè)空間和社會的進步。
春江水暖鴨先知,全球科技巨頭均在投入攻關3D內容生產的關鍵環(huán)節(jié),以蘋果、微軟、谷歌、Meta為代表的全球科技巨頭近幾年紛紛收購和研發(fā)進入3D內容生產領域,中國軍團深耕十余年擁有技術和商業(yè)優(yōu)勢,這將開啟全球科技產業(yè)爭霸的新篇章。
*聲明:本文系用戶投稿,非VR陀螺官方稿,謹代表作者個人觀點立場,法律問題一切與VR陀螺無關。
投稿/爆料:tougao@youxituoluo.com
稿件/商務合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數字產業(yè)服務平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息