PICO 自研的多模態(tài)追蹤算法方案 Centaur，將「光學(xué)追蹤算法」與「CV 模態(tài)裸手追蹤算法」融合，并率先實(shí)現(xiàn)了融合算法的產(chǎn)品化，解決了小型化手柄在遮擋情況下識(shí)別難的問(wèn)題。同時(shí)，手柄+裸手的融合式方案也為 XR 交互提供了新的思路。

Apple Vision Pro 的無(wú)手柄設(shè)計(jì)引發(fā)了大量討論，它挑戰(zhàn)了我們對(duì) XR 用戶(hù)體驗(yàn)的傳統(tǒng)認(rèn)知，提供了一種全新的、更為直觀的交互方式。然而，盡管這種去手柄化的趨勢(shì)在某些場(chǎng)景下可能有其獨(dú)特的優(yōu)勢(shì)，但手柄在 XR 頭顯的交互方式中的重要性仍然不容忽視。

手柄作為一種成熟且被廣泛接受的交互工具，在需要精確輸入或復(fù)雜操作的情況下，例如一些游戲或繪畫(huà)、手術(shù)模擬等專(zhuān)業(yè)訓(xùn)練中，通?？梢蕴峁└玫捏w驗(yàn)。此外，手柄能夠?yàn)橛脩?hù)提供觸覺(jué)反饋，這是目前無(wú)手柄方案難以實(shí)現(xiàn)的，而觸覺(jué)對(duì)于創(chuàng)建沉浸式體驗(yàn)又至關(guān)重要。

不過(guò)，傳統(tǒng)的手柄往往體積較大，重量較重，長(zhǎng)時(shí)間使用可能會(huì)引起用戶(hù)的疲勞。因此，許多 XR 廠商一直致力于研發(fā)更輕、更小巧的手柄設(shè)備，以提升用戶(hù)體驗(yàn)。

但是，輕量化手柄的研發(fā)面臨多個(gè)難點(diǎn)，其中一項(xiàng)主要的挑戰(zhàn)便是高精度追蹤的問(wèn)題：首先，小型化設(shè)備限制了傳感器的大小和數(shù)量；其次，由于手柄小，用戶(hù)可能會(huì)更頻繁地做出快速和復(fù)雜的手勢(shì)，這也對(duì)追蹤系統(tǒng)的穩(wěn)定性和準(zhǔn)確性提出了更高的要求；設(shè)備的小型化還可能會(huì)限制攝像頭的視場(chǎng)角，使得手柄在一些極端姿態(tài)下無(wú)法被有效追蹤。此外，高精度的追蹤通常需要進(jìn)行更多的計(jì)算，因此功耗管理也是小型化手柄研發(fā)中的一個(gè)重要挑戰(zhàn)。

 融合光學(xué)追蹤與裸手識(shí)別算法 

 實(shí)現(xiàn)遮擋情況下穩(wěn)定追蹤 

基于 AI 方面的積累，PICO 創(chuàng)新性地提出了一種多模態(tài)的手柄追蹤解決方案，成功在小型化手柄上實(shí)現(xiàn)了穩(wěn)定的高精度追蹤。

「我們?cè)谌耸治兆说膶?shí)時(shí)估計(jì)方法、多模態(tài)下的數(shù)據(jù)融合方法，以及基于 IMU（Inertial Measurement Unit，慣性測(cè)量單元）的高精度預(yù)測(cè)方法等方面，取得了一些突破創(chuàng)新，」PICO 研發(fā)團(tuán)隊(duì)表示：「提出了一種多模態(tài)的手持控制器追蹤方法，能夠提供更廣的追蹤范圍，減小追蹤盲區(qū)，為用戶(hù)帶來(lái)更好的體驗(yàn)?！?/p>

PICO 此次自研的 Centaur多模態(tài)追蹤算法，將光學(xué)追蹤算法與 CV 模態(tài)下的手柄追蹤算法融合，其中光學(xué)追蹤算法通過(guò)識(shí)別手柄中 LED 燈發(fā)射出的紅外光（IR），實(shí)現(xiàn)對(duì)手柄的定位追蹤；CV 模態(tài)手柄追蹤算法，能夠在手柄上的 LED 燈被遮擋時(shí)，也即在極少 IR 或沒(méi)有 IR 的情況下，通過(guò)追蹤裸手的特征，準(zhǔn)確還原出手柄控制器的 6DoF 信息，從而保持對(duì)手柄的穩(wěn)定追蹤。

【圖說(shuō)】 Centaur 多模態(tài)融合算法，將視覺(jué)信息與慣性信息融合，得到手柄位姿及速度的最優(yōu)估計(jì)。具體說(shuō)，多模態(tài)追蹤算法使用從頭顯攝像頭、內(nèi)置IMU模塊、3-DOF模塊、深度學(xué)習(xí)手勢(shì)檢測(cè)及追蹤模塊、光學(xué)定位模塊采集到的多種模態(tài)數(shù)據(jù)，分析手部特征、手柄運(yùn)動(dòng)信息、LED位置，以及全局上下文信息，進(jìn)行精準(zhǔn)的位姿預(yù)測(cè)和估計(jì)。最后，通過(guò)多幀融合濾波器對(duì)所有獲取的信息進(jìn)行融合計(jì)算，產(chǎn)生高精度、高幀率的手柄位置、旋轉(zhuǎn)及速度信息，供上層應(yīng)用使用。

光學(xué)追蹤算法在 XR 產(chǎn)品中有著廣泛的應(yīng)用，主要用于實(shí)現(xiàn)精準(zhǔn)、低延遲的位置和運(yùn)動(dòng)追蹤。這些算法通常利用攝像頭（或其他光學(xué)傳感器）捕獲的圖像數(shù)據(jù)，通過(guò)識(shí)別和追蹤特定的視覺(jué)特征，如顏色、紋理、形狀等，來(lái)計(jì)算物體（如用戶(hù)的頭部、手部或控制器）的位置和運(yùn)動(dòng)。

PICO 采用的是基于紅外光（IR）的主動(dòng)式光學(xué)定位追蹤方案，這種技術(shù)可以通過(guò)頭顯攝像頭，觀測(cè)到手柄上發(fā)射的 IR，并通過(guò)光斑檢測(cè)和多視圖幾何原理來(lái)計(jì)算手柄的位置和姿態(tài)。與傳統(tǒng)的電磁定位和超聲波定位相比，具有高精度、低成本、低功耗等優(yōu)點(diǎn)。

針對(duì)小型化手柄的一系列工程和技術(shù)挑戰(zhàn)，PICO 組建了一個(gè)跨部門(mén)的攻關(guān)小組，包括交互感知內(nèi)部的數(shù)據(jù)交互團(tuán)隊(duì)、裸手追蹤算法團(tuán)隊(duì)和手柄追蹤算法團(tuán)隊(duì)。

經(jīng)過(guò)多次論證后，團(tuán)隊(duì)設(shè)計(jì)了一套基于神經(jīng)網(wǎng)絡(luò)（AI 模型追蹤技術(shù)結(jié)構(gòu)）的多模態(tài)手柄追蹤框架，其核心技術(shù)即上文提到的 Centaur多模態(tài)追蹤算法，該框架融合了 IMU、光學(xué)傳感器和手部圖像這幾種不同模態(tài)的信息，在手柄被遮擋的情況下，裸手追蹤能夠提供更加精準(zhǔn)的觀測(cè)，同時(shí)手柄給手部追蹤提供更準(zhǔn)確的預(yù)測(cè)，兩者深度融合，相互輔助。

【圖說(shuō)】 Centaur多模態(tài)追蹤算法，融合了 IMU、光學(xué)傳感器和手部圖像等不同模態(tài)的信息，在手柄被遮擋的情況下，裸手追蹤可以補(bǔ)充提供精準(zhǔn)的觀測(cè)。

裸手追蹤（hand-tracking），也叫手部追蹤或手勢(shì)追蹤，通過(guò)直接捕獲和分析用戶(hù)的手部姿態(tài)、位置和運(yùn)動(dòng)，使用戶(hù)可以在 XR 環(huán)境中直接用手勢(shì)進(jìn)行交互，無(wú)需穿戴特殊設(shè)備（如手套或指環(huán)），也免去了學(xué)習(xí)復(fù)雜的控制器操作過(guò)程，大幅降低了使用門(mén)檻，因而在 XR 領(lǐng)域備受關(guān)注。

不過(guò)，盡管裸手追蹤能夠提供更加流暢、自然的交互體驗(yàn)，但也面臨諸多挑戰(zhàn)。例如，裸手追蹤需要高精度和低延遲，以便能夠?qū)崟r(shí)準(zhǔn)確地捕捉用戶(hù)的動(dòng)作。此外，光照條件、背景干擾、用戶(hù)的手部形狀和顏色差異等因素，也可能影響裸手追蹤的表現(xiàn)。

「CV 模態(tài)手柄追蹤場(chǎng)景下，由于手柄的遮擋，導(dǎo)致裸手視覺(jué)特征不明顯，常常引發(fā)追蹤失效。」PICO 裸手算法團(tuán)隊(duì)成員表示：「針對(duì)該難點(diǎn)問(wèn)題，我們創(chuàng)新性地融合了 Down-Top 的端到端 6DoF 追蹤算法，通過(guò)有效利用多目時(shí)序的全局上下文信息，比如身體的骨骼信息以及結(jié)合時(shí)間順序判斷，一次性準(zhǔn)確且穩(wěn)定地預(yù)測(cè)手部位姿，能夠在手柄追蹤失效時(shí)，及時(shí)提供魯棒的位姿?！?/p>

Top-Down & Down-Top

【圖說(shuō)】在計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)領(lǐng)域，Top-Down 和 Down-Top 是對(duì)象檢測(cè)和識(shí)別的兩種常見(jiàn)策略。Top-Down 通常從全局或更大尺度的視角開(kāi)始，逐漸向更精細(xì)的細(xì)節(jié)進(jìn)行；Down-Top 則從小尺度的細(xì)節(jié)開(kāi)始，逐漸構(gòu)建出全局的視圖。PICO 團(tuán)隊(duì)采用 Down-Top 方案，能夠在精度相近的情況下，提高手柄的檢出率，從原先的 36% 提升到了93%。從上圖中看，右側(cè) Down-Top 圖中連貫的綠線即表示系統(tǒng)有在持續(xù)并且穩(wěn)定地追蹤。

裸手追蹤算法團(tuán)隊(duì)設(shè)計(jì)的這個(gè)端到端 6DoF 追蹤算法，融合了 PICO 研發(fā)團(tuán)隊(duì)在過(guò)去一年多的時(shí)間里取得的多項(xiàng)技術(shù)突破：

• 手部多視角協(xié)同自監(jiān)督學(xué)習(xí)方法 HaMuCo：利用多視角的信息，通過(guò)自監(jiān)督學(xué)習(xí)和一致性損失函數(shù)，能夠在沒(méi)有大規(guī)模 3D 標(biāo)注數(shù)據(jù)集的情況下，獲得優(yōu)秀的手部姿態(tài)預(yù)測(cè)結(jié)果。這項(xiàng)工作也獲得了 ECCV HANDS22 Challenge 第一名。

• 手部姿態(tài)預(yù)測(cè)和圖像對(duì)齊框架 DIR：DIR 是「解耦合迭代修正框架」（Decoupled Iterative Refinement）的縮寫(xiě)，該框架解決了二維視覺(jué)特征空間和三維節(jié)點(diǎn)特征空間的耦合問(wèn)題，DIR 在二維視覺(jué)特征空間中處理圖像信息，在三維節(jié)點(diǎn)特征空間中處理手部姿態(tài)信息。DIR 使用節(jié)點(diǎn)特征作為二維和三維空間之間的「橋梁」，使得這兩個(gè)空間可以相互溝通，從而實(shí)現(xiàn)特征增強(qiáng)和姿態(tài)修正。在最具挑戰(zhàn)性的雙手?jǐn)?shù)據(jù)集上取得了 SOTA 精度，在處理復(fù)雜數(shù)據(jù)集和泛化到新情況方面也表現(xiàn)出色。該工作入選 ICCV2023 Oral 論文，足以證明其質(zhì)量。

   

【圖說(shuō)】圖片來(lái)自 DIR 論文

https://arxiv.org/abs/2302.02410

• 從單視圖中重建雙手姿態(tài)的新方案：由于單視角固有的歧義性以及雙手具有相似的外觀、自遮擋嚴(yán)重等問(wèn)題，從單視圖中重建雙手是一項(xiàng)巨大的挑戰(zhàn)，團(tuán)隊(duì)轉(zhuǎn)變思路，首先構(gòu)建了一個(gè)雙手互動(dòng)的先驗(yàn)，然后將互動(dòng)重建任務(wù)定義為從這個(gè)先驗(yàn)中進(jìn)行條件采樣的任務(wù)。具體說(shuō)，團(tuán)隊(duì)通過(guò)運(yùn)動(dòng)捕捉（MoCap）系統(tǒng)構(gòu)建了一個(gè)大規(guī)模的雙手交互數(shù)據(jù)集，然后利用這些數(shù)據(jù)建立了一個(gè)基于 VAE 的雙手交互先驗(yàn)網(wǎng)絡(luò)，再利用 ViT 從單視角圖像中提取特征，并充分融合雙手交互先驗(yàn)的相關(guān)性，從而獲得了雙手重建的 SOTA 結(jié)果。

• XR 場(chǎng)景全身姿態(tài)估計(jì)技術(shù)：提出了一個(gè)能夠建模全身關(guān)節(jié)點(diǎn)相關(guān)性的兩階段框架，基于 XR 場(chǎng)景下能夠獲取的有限的跟蹤信息（包括關(guān)節(jié)點(diǎn)位置特征、關(guān)節(jié)點(diǎn)旋轉(zhuǎn)特征以及輸入特征），回歸出準(zhǔn)確、平滑和合理的全身姿態(tài)序列。模型在虛擬數(shù)據(jù)集（AMASS）和實(shí)采數(shù)據(jù)集上的實(shí)驗(yàn)中，展現(xiàn)出了優(yōu)于現(xiàn)有方法的準(zhǔn)確率、平滑性和物理合理性，極大地提高了用戶(hù)的沉浸式體驗(yàn)。

   

「這是團(tuán)隊(duì)協(xié)作的成果，」PICO 攻關(guān)小組負(fù)責(zé)人表示：「數(shù)據(jù)交互團(tuán)隊(duì)基于高精度動(dòng)作捕捉系統(tǒng)完成了數(shù)據(jù)采集和標(biāo)注；裸手追蹤算法團(tuán)隊(duì)設(shè)計(jì)了 SOTA 的端到端 6DoF 位姿估計(jì)模型，提升了手部追蹤的穩(wěn)定性；手柄追蹤算法團(tuán)隊(duì)則提升了光學(xué)追蹤的穩(wěn)定性和整個(gè)算法框架的實(shí)現(xiàn)，多模態(tài)的手柄追蹤算法在手柄被遮擋情況下仍然能保持穩(wěn)定追蹤?！?/p>

「光學(xué)追蹤和裸手追蹤這兩大類(lèi)算法，從追蹤框架上不是獨(dú)特唯一，也不是我們最先研究的，但是將它們?nèi)诤掀饋?lái)并產(chǎn)品化，截至目前我們是第一家。」

 從研究到產(chǎn)品：新一代無(wú)燈環(huán)小手柄 

PICO 最新推出的小手柄，采用無(wú)燈環(huán)設(shè)計(jì)，配合頭顯進(jìn)行雙手空間定位捕捉，通過(guò)頭顯的 inside-out 光學(xué)追蹤定位原理，計(jì)算出手柄的空間運(yùn)動(dòng)軌跡，并結(jié)合 6 軸傳感器完成無(wú)線控制器的 6DoF 捕捉，進(jìn)而結(jié)合控制器的物理按鍵、馬達(dá)反饋、搖桿等反映到虛擬現(xiàn)實(shí)世界中，用于增強(qiáng)虛擬現(xiàn)實(shí)人機(jī)交互的能力，提升沉浸感。

【圖說(shuō)】PICO 最新一代無(wú)燈環(huán)小手柄。新手柄 LED 燈減少且均在手柄內(nèi)，更容易被手部遮擋，因此對(duì)手柄追蹤的魯棒性帶來(lái)重大挑戰(zhàn)。

相比上一代手柄，無(wú)燈環(huán)小手柄更加輕巧便攜，重心偏手心位置（電池和馬達(dá)更集中），握持手感更好；雙手柄的相互干涉概率更小，整體交互會(huì)更自然。重量相比上一代手柄輕約15g，高度減少50%。

追蹤效果方面，采用自研 Centaur 多模態(tài)追蹤算法方案，有效解決了雙手遮擋情況下的手柄追蹤精度問(wèn)題，毫米級(jí)追蹤精度，延遲＜5ms。

能耗方面，根據(jù) PICO 內(nèi)部測(cè)試的結(jié)果，在每天運(yùn)動(dòng) 1 小時(shí)的情況下，可以持續(xù)工作超過(guò) 80 天。

實(shí)際上，在 PICO 4 早期的研發(fā)階段，團(tuán)隊(duì)就有過(guò)制作無(wú)燈環(huán)小型手柄的想法。2022 年 6 月，小手柄研發(fā)項(xiàng)目正式啟動(dòng)后，團(tuán)隊(duì)探索過(guò)多種追蹤方案，包括自追蹤和其他傳感器的追蹤方案，考慮到精度及成本等因素，最終決定以光學(xué)追蹤為基礎(chǔ)，結(jié)合裸手追蹤的最新技術(shù)，探索出了一條多模態(tài)的追蹤方案。

「以高精度光學(xué)位姿解算和裸手追蹤為基礎(chǔ)，實(shí)時(shí)估算手柄和手掌的相對(duì)位置關(guān)系。在光學(xué)解算失效的情況下，使用裸手檢測(cè)的結(jié)果還原出手柄控制器的 6DoF 信息?！筆ICO 裸手追蹤算法團(tuán)隊(duì)成員表示。

「這樣我們的手柄控制器追蹤系統(tǒng)不僅能夠使用紅外 LED 做到高精度的追蹤，也能夠利用裸手檢測(cè)“隔山打牛”，最終實(shí)現(xiàn)了抓握?qǐng)A盤(pán)的握持方式下依然穩(wěn)定的追蹤效果，通過(guò)了極客玩家的挑剔測(cè)試?！?/p>

【圖說(shuō)】小手柄會(huì)面臨更多低 LED 觀測(cè)數(shù)量下的初始化與追蹤問(wèn)題，從數(shù)學(xué)上解算難度更大。上圖為僅有 3 顆 LED 燈時(shí)手柄靜止?fàn)顟B(tài)下的追蹤效果，可以看出，多幀緊耦合比單幀松耦合的結(jié)果更加精確，追蹤更加穩(wěn)定，波動(dòng)顯著減小。

 手柄交互+裸手交互 

雙線布局應(yīng)對(duì)未來(lái) 

光學(xué)追蹤和裸手追蹤兩大類(lèi)算法，經(jīng)歷了 PICO Neo3 和 PICO 4 兩代產(chǎn)品的打磨，對(duì)用戶(hù)需求更了解，技術(shù)廣度和深度有足夠的積累。

作為最早將光學(xué)追蹤產(chǎn)品化的 XR 企業(yè)之一，PICO 的光學(xué)追蹤系統(tǒng)在許多技術(shù)點(diǎn)上表現(xiàn)出優(yōu)勢(shì)，精度和性能等指標(biāo)目前處于全球第一梯隊(duì)。PICO 的裸手追蹤技術(shù)則在這兩年間快速積累，已經(jīng)可以實(shí)現(xiàn)相當(dāng)精確和穩(wěn)定的手部和指尖追蹤。

「在高難度的快速運(yùn)動(dòng)場(chǎng)景下，我們通過(guò)不斷優(yōu)化端到端的時(shí)序模型、千萬(wàn)級(jí)高精訓(xùn)練集，以及 MTP（Motion to Photon，動(dòng)顯延遲）測(cè)試方案，目前算法延遲與追蹤丟失率在全球范圍能做到技術(shù)領(lǐng)先，給用戶(hù)在游戲與運(yùn)動(dòng)場(chǎng)景帶來(lái)了流暢且穩(wěn)定的體驗(yàn)?！?/p>

如今，數(shù)據(jù)驅(qū)動(dòng)的 AI 正以前所未有的方式塑造著未來(lái)，尤其在 XR 領(lǐng)域，由于硬件和算法持續(xù)快速迭代，數(shù)據(jù)的效率、質(zhì)量和可擴(kuò)展性對(duì)于開(kāi)發(fā)交互式 AI 算法至關(guān)重要。

PICO 擁有行業(yè)領(lǐng)先的全方位自研軟硬件基建，覆蓋數(shù)據(jù)生產(chǎn)平臺(tái)（含相機(jī)陣列與仿真系統(tǒng)）和測(cè)試平臺(tái)等，特別關(guān)注高效數(shù)據(jù)獲取、高精度數(shù)據(jù)標(biāo)注和數(shù)據(jù)應(yīng)用相關(guān)的工作，也為技術(shù)和產(chǎn)品的研發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)。

「為了生產(chǎn)高精數(shù)據(jù)，我們?cè)谛∈直闶肿藨B(tài)數(shù)據(jù)的高精標(biāo)注任務(wù)中，一方面采用了自研的業(yè)內(nèi)領(lǐng)先的基于相機(jī)陣列的多視角手部姿態(tài)標(biāo)注技術(shù)方案；另一方面針對(duì)該特定任務(wù)進(jìn)行了預(yù)重建，進(jìn)一步提升了手部姿態(tài)數(shù)據(jù)的精度。」PICO 數(shù)據(jù)交互團(tuán)隊(duì)表示。

1.采集前，結(jié)構(gòu)光掃描及注冊(cè)---2.階段一，采集手和手柄空間關(guān)系---3. 階段二，手柄跟蹤及手勢(shì)標(biāo)簽

【圖說(shuō)】PICO高精度數(shù)據(jù)采集與自動(dòng)標(biāo)注流程

【圖說(shuō)】AI合成方案，通過(guò)仿真手部模型擴(kuò)大數(shù)據(jù)采集樣本

「我們?cè)跀?shù)據(jù)生產(chǎn)上也提供了多套技術(shù)方案，如相機(jī)陣列的真實(shí)采集與仿真合成平臺(tái)方案，多種方案結(jié)合，有力保障 AI 訓(xùn)練數(shù)據(jù)的支撐?！?/p>

 結(jié)語(yǔ) 

當(dāng)前，XR 領(lǐng)域技術(shù)快速更迭，PICO 在光學(xué)追蹤和裸手追蹤兩條技術(shù)路線上雙線布局，表明了其在對(duì)技術(shù)發(fā)展趨勢(shì)的洞察上具有一定的前瞻性。

「裸手+手柄」的融合式交互方案，結(jié)合了裸手追蹤的直觀性和手柄輸入的精確性，既可以提供自然、直觀的體驗(yàn)，又可以實(shí)現(xiàn)精確、細(xì)致的操作，在游戲、教育、醫(yī)療、設(shè)計(jì)等領(lǐng)域，很多 XR 應(yīng)用中都是一個(gè)非常有吸引力的選項(xiàng)，有望成為未來(lái) 2~3 年行業(yè)的主流交互趨勢(shì)。

作為國(guó)內(nèi)最早參與 XR 領(lǐng)域的企業(yè)之一，PICO 憑借前瞻性的技術(shù)意識(shí)和充分的技術(shù)積累，確立了其在行業(yè)中的領(lǐng)先地位。此次自研 Centaur 多模態(tài)追蹤算法，申請(qǐng)專(zhuān)利并成功產(chǎn)品化，再加上全方位自研的軟硬件基礎(chǔ)設(shè)施，這些都是技術(shù)優(yōu)勢(shì)的體現(xiàn)，也是 PICO 能持續(xù)領(lǐng)跑行業(yè)的關(guān)鍵。

在科技產(chǎn)業(yè)，尋找創(chuàng)新與保持一致性之間的平衡是挑戰(zhàn)也是藝術(shù)。一方面，創(chuàng)新性和差異性是推動(dòng)行業(yè)向前發(fā)展的引擎，為用戶(hù)帶來(lái)更高效、更具吸引力的體驗(yàn)。另一方面，一致性對(duì)于確保平穩(wěn)過(guò)渡和降低過(guò)渡成本具有至關(guān)重要的作用。PICO  的融合式交互方案巧妙地展現(xiàn)出了這樣的一致與創(chuàng)新。正如混合動(dòng)力汽車(chē)為消費(fèi)者和制造商提供了平滑過(guò)渡到全電動(dòng)汽車(chē)的途徑。同樣，手柄+裸手的融合式交互技術(shù)也提供了一條路徑，使得 XR 行業(yè)可以更加平順地邁向下一階段。人機(jī)交互的設(shè)計(jì)應(yīng)當(dāng)始終以用戶(hù)為中心，包括那些有特殊需求或身體限制的人。讓我們期待 PICO 的這份執(zhí)著和專(zhuān)注，繼續(xù)為玩家?guī)?lái)更多超越想象的驚喜。

參考資料

• 高效數(shù)據(jù)獲取 HaMuCo: Hand Pose Estimation via Multiview Collaborative Self-Supervised Learning，https://arxiv.org/abs/2302.00988

• 高精度數(shù)據(jù)標(biāo)注 Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image，Reconstructing Interacting Hands with Interaction Prior from Monocular Images，https://arxiv.org/abs/2302.02410

• 單視圖中重建雙手Reconstructing Interacting Hands with Interaction Prior from Monocular Images，https://arxiv.org/abs/2308.14082

• 數(shù)據(jù)應(yīng)用 Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling，https://arxiv.org/abs/2308.08855

*聲明：非VR陀螺官方稿，法律問(wèn)題一切與VR陀螺無(wú)關(guān)。文章來(lái)源：機(jī)器之心