編譯/VR陀螺
今日,谷歌Research團(tuán)隊(duì)在網(wǎng)站上發(fā)表博客稱,為安卓上的Motion Stills(視頻捕捉和觀看app)增加了全新的AR模式。在AR模式下,用戶只需點(diǎn)擊屏幕就可以將有趣的虛擬3D物體放置在靜止,或者移動(dòng)中的水平面上(比如桌子、地板和手上),讓這些物體可以無縫的和動(dòng)態(tài)的實(shí)時(shí)環(huán)境進(jìn)行互動(dòng)。我們還可以直接錄像以及導(dǎo)出GIF圖和視頻。
這一AR模式由實(shí)時(shí)動(dòng)作追蹤功能所實(shí)現(xiàn),這是基于iOS版Motion Stills的Motion Text和YouTube上的privacy blur的技術(shù)所實(shí)現(xiàn)的6自由度追蹤,能夠精確的追蹤靜止和移動(dòng)的物體。谷歌的團(tuán)隊(duì)對(duì)這一技術(shù)進(jìn)行的完善和提升,使其可以在任何配備了陀螺儀的安卓設(shè)備上實(shí)現(xiàn)有趣的AR功能。
當(dāng)用戶碰觸屏幕時(shí),Motion Stills AR能夠?qū)⒁粋€(gè)3D的虛擬物體“粘貼”到指定的位置,使其看起來就像真實(shí)世界的一部分一樣。通過假定跟蹤表面和地平面是平行的,同時(shí)使用設(shè)備的加速傳感器來提供手機(jī)相對(duì)于地平面的初始定向,可以追蹤攝像頭的6自由度(3個(gè)平移自由度和3個(gè)旋轉(zhuǎn)自由度)。這讓我們可以精確的改變和渲染虛擬物體。
即時(shí)動(dòng)作追蹤
即時(shí)運(yùn)動(dòng)跟蹤的核心是將攝像機(jī)的平移和旋轉(zhuǎn)估計(jì)分離,將其視為獨(dú)立的優(yōu)化問題。 首先,我們只根據(jù)相機(jī)的視覺信號(hào)確定3D相機(jī)的平移。 為此,我們觀察目標(biāo)區(qū)域的明顯2D映射和跨幀的相對(duì)比例。 一個(gè)簡(jiǎn)單的針孔照相機(jī)模型將圖像平面中的盒子的平移和縮放與相機(jī)的最終3D平移相關(guān)聯(lián)。
為了解決這個(gè)問題,我們?cè)谖覀儸F(xiàn)有的跟蹤器中添加了比例估計(jì),并在攝像機(jī)的視場(chǎng)之外追加了區(qū)域跟蹤。 當(dāng)相機(jī)靠近被跟蹤的表面時(shí),虛擬內(nèi)容能夠精確地縮放,這與真實(shí)世界對(duì)象的感知一致。 當(dāng)你在目標(biāo)區(qū)域的視場(chǎng)之外平移時(shí),虛擬物體將重新出現(xiàn)在大致相同的位置。
在這之后,我們使用手機(jī)的內(nèi)置陀螺儀來獲得設(shè)備的3D旋轉(zhuǎn)(滾動(dòng),俯仰和偏航)。 估測(cè)的3D對(duì)應(yīng)圖像與3D旋轉(zhuǎn)相結(jié)合,使我們能夠在取景器中正確渲染虛擬內(nèi)容。 而且由于我們分別處置旋轉(zhuǎn)和平移,所以我們的即時(shí)運(yùn)動(dòng)跟蹤方法不需要校準(zhǔn),可以在任何帶有陀螺儀的Android設(shè)備上工作。
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺(tái)
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息