編譯/VR陀螺

近日，美國(guó)專(zhuān)利商標(biāo)局公布了蘋(píng)果公司的一項(xiàng)專(zhuān)利申請(qǐng)，該專(zhuān)利涉及在用戶從事身體活動(dòng)（如鍛煉或高爾夫等運(yùn)動(dòng)）時(shí)監(jiān)測(cè)用戶的姿勢(shì)和運(yùn)動(dòng)的系統(tǒng)。

蘋(píng)果公司指出，許多消費(fèi)者擁有智能手機(jī)、智能手表和耳機(jī)（如耳塞）。這些設(shè)備都包括運(yùn)動(dòng)傳感器，如加速計(jì)、陀螺儀和高度計(jì)。這些設(shè)備通常包括一個(gè)或多個(gè)視頻攝像頭。一些更高級(jí)的設(shè)備還包括深度傳感器，如TOF傳感器。相機(jī)數(shù)據(jù)和/或深度數(shù)據(jù)可用于生成人體的骨骼模型。

從攝像機(jī)數(shù)據(jù)生成2D骨骼模型的技術(shù)如今已很常見(jiàn)，將2D骨骼模型提升到3D骨骼模型的技術(shù)也是眾所周知的。3D骨骼模型為確定用戶的全身姿態(tài)提供了一個(gè)很好的資源。

骨骼模型通常包括人體所有關(guān)節(jié)的位置，如腳踝、膝蓋、臀部、腰部、肩部、肘部、手腕和頸部。

在一些實(shí)施例中，骨骼模型可用于生成骨骼網(wǎng)。這些位置是典型的相機(jī)和/或深度傳感器參考框架，這往往與慣性傳感器的參考框架不同。此外，運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)的數(shù)據(jù)速率可能不同，這取決于設(shè)備和/或應(yīng)用程序。

蘋(píng)果公司進(jìn)一步指出，最好是將運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)一起使用來(lái)估計(jì)用戶的身體姿勢(shì)。這一信息可用于各種應(yīng)用，如監(jiān)測(cè)高爾夫揮桿、監(jiān)測(cè)瑜伽姿勢(shì)、游戲應(yīng)用（例如，帶有“身體運(yùn)動(dòng)傳感器上的攝像頭”的電視）、基于各運(yùn)動(dòng)傳感器捕獲的每個(gè)用戶行為的獨(dú)特性在多人場(chǎng)景中進(jìn)行人物識(shí)別，以及健身教練或教練的遠(yuǎn)程監(jiān)測(cè)。

圖源：patentlyapple

蘋(píng)果公司的專(zhuān)利圖1A-1D說(shuō)明了姿勢(shì)和運(yùn)動(dòng)監(jiān)測(cè)的應(yīng)用，用于監(jiān)測(cè)用戶的高爾夫揮桿。

更具體地說(shuō)，根據(jù)圖1A和1B，估計(jì)的身體姿勢(shì)可用于確定用戶的高爾夫形式或姿態(tài)是否正確。這可以通過(guò)對(duì)佩戴在用戶手腕上的智能手表的位置和方向進(jìn)行運(yùn)動(dòng)學(xué)建模來(lái)完成。例如，智能手表提供的運(yùn)動(dòng)數(shù)據(jù)可用于測(cè)量揮桿過(guò)程中撞擊時(shí)的物理力。此外，骨骼數(shù)據(jù)可用于通過(guò)監(jiān)測(cè)用戶的肘關(guān)節(jié)和肩關(guān)節(jié)的位置來(lái)檢測(cè)用戶的形態(tài)和姿態(tài)。

蘋(píng)果專(zhuān)利圖1A-1D說(shuō)明了一個(gè)示例應(yīng)用，該應(yīng)用可以使用由位于用戶身體不同部位的不同移動(dòng)設(shè)備提供的運(yùn)動(dòng)數(shù)據(jù)產(chǎn)生的預(yù)估身體姿勢(shì)，與2D或3D骨骼數(shù)據(jù)和/或骨骼網(wǎng)格相結(jié)合。運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)的融合將在下面的專(zhuān)利圖2中描述。

圖源：patentlyapple

蘋(píng)果公司的專(zhuān)利圖2是系統(tǒng)#200的框圖，用于用移動(dòng)設(shè)備監(jiān)測(cè)姿勢(shì)和運(yùn)動(dòng)。該系統(tǒng)包括Apple Watch #201、骨骼數(shù)據(jù)生成器#202、校準(zhǔn)器#203、通信管理器#204、同步器#205和身體姿勢(shì)估計(jì)器#206，該系統(tǒng)進(jìn)一步包括插值器#210和估計(jì)濾波器#211（例如卡爾曼濾波器）。在一個(gè)實(shí)施方案中，該系統(tǒng)也可以在iPhone、iPad、網(wǎng)絡(luò)計(jì)算機(jī)和其他設(shè)備上實(shí)現(xiàn)。

蘋(píng)果公司的專(zhuān)利圖3和圖4說(shuō)明了圖2中所示的校準(zhǔn)器的操作。

圖源：patentlyapple

蘋(píng)果公司的專(zhuān)利圖5說(shuō)明了使用運(yùn)動(dòng)數(shù)據(jù)和骨骼數(shù)據(jù)預(yù)測(cè)關(guān)節(jié)位置的情況。

想了解更多專(zhuān)利細(xì)節(jié)，請(qǐng)查閱蘋(píng)果的專(zhuān)利申請(qǐng)US 20230096949 A1。

除了這份專(zhuān)利外，蘋(píng)果公司還申請(qǐng)了第二項(xiàng)專(zhuān)利，標(biāo)題為“通過(guò)從多個(gè)可穿戴設(shè)備提取特征進(jìn)行全身姿勢(shì)估計(jì)”。

蘋(píng)果公司在其專(zhuān)利背景中指出，可穿戴設(shè)備現(xiàn)在很普遍。許多消費(fèi)者每天都會(huì)佩戴智能手表和耳機(jī)設(shè)備。這些可穿戴設(shè)備中的許多設(shè)備都包括慣性傳感器，可以感知用戶的運(yùn)動(dòng)。例如，嵌入智能手表的慣性傳感器可以捕捉用戶的手臂運(yùn)動(dòng)，然后由健身應(yīng)用來(lái)計(jì)算各種健身指標(biāo)，如用戶在運(yùn)動(dòng)中消耗的卡路里量。一些耳部設(shè)備（如耳機(jī)）包括控制音頻播放的慣性傳感器，提供用于波束成形以減少背景噪音的麥克風(fēng)方向數(shù)據(jù)，以及用于固定通過(guò)耳部設(shè)備播放的空間音頻聲場(chǎng)的頭部追蹤。

蘋(píng)果公司的發(fā)明涵蓋了通過(guò)從多個(gè)可穿戴設(shè)備中提取特征來(lái)進(jìn)行全身姿勢(shì)估計(jì)。

在一個(gè)實(shí)施方案中，一種方法包括用至少一個(gè)處理器從用戶同時(shí)佩戴的多個(gè)可穿戴設(shè)備獲得視點(diǎn)（POV）視頻數(shù)據(jù)和慣性傳感器數(shù)據(jù)；用至少一個(gè)處理器獲得捕捉用戶全身的深度數(shù)據(jù)；用至少一個(gè)處理器從POV視頻數(shù)據(jù)中提取2D關(guān)鍵點(diǎn)；用至少一個(gè)處理器從2D關(guān)鍵點(diǎn)重建全身2D骨骼模型；用至少一個(gè)處理器，基于深度數(shù)據(jù)生成用戶全身的3D網(wǎng)狀模型；用至少一個(gè)處理器，將3D網(wǎng)狀模型的節(jié)點(diǎn)與慣性傳感器數(shù)據(jù)合并；用至少一個(gè)處理器，將2D骨骼模型和3D網(wǎng)狀模型在共同參考框架中的各自方向?qū)R；以及用機(jī)器學(xué)習(xí)模型，基于對(duì)齊的2D骨骼模型和3D網(wǎng)狀模型，預(yù)測(cè)分類(lèi)類(lèi)型。

在一個(gè)實(shí)施方案中，至少一個(gè)可穿戴設(shè)備是戴在用戶身上或佩戴在耳朵里的耳機(jī)，至少一個(gè)可穿戴設(shè)備是戴在用戶手腕上的智能手表。

在一個(gè)實(shí)施方案中，該方法由一個(gè)與可穿戴設(shè)備無(wú)線連接的中央計(jì)算設(shè)備執(zhí)行。

在一個(gè)實(shí)施方案中，從多個(gè)可穿戴設(shè)備獲得的高度計(jì)數(shù)據(jù)被用來(lái)在共同參考框架中調(diào)整2D骨骼模型和3D網(wǎng)格模型的各自方向。

其他實(shí)施方案可以包括裝置、計(jì)算設(shè)備和非臨時(shí)性、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

所公開(kāi)的特定實(shí)施例提供了以下一個(gè)或多個(gè)優(yōu)點(diǎn)。所披露的實(shí)施例提供了一個(gè)更準(zhǔn)確的全身骨骼模型，可以提供對(duì)用戶運(yùn)動(dòng)的詳細(xì)見(jiàn)解，允許改進(jìn)各種健身活動(dòng)或健康監(jiān)測(cè)的進(jìn)度跟蹤。

例如，可以在智能手機(jī)或智能手表上為用戶提供鍛煉總結(jié)，其中包括各種鍛煉的重復(fù)數(shù)據(jù)（例如，負(fù)重深蹲或俯臥撐的數(shù)量），以及趨勢(shì)數(shù)據(jù)，如運(yùn)動(dòng)范圍的改善。

圖源：patentlyapple

蘋(píng)果公司的專(zhuān)利圖1是一個(gè)通過(guò)從多個(gè)可穿戴設(shè)備中提取的特征進(jìn)行全身姿勢(shì)估計(jì)的系統(tǒng)框圖；圖2顯示了各種類(lèi)型的鍛煉的可穿戴設(shè)備的不同位置。

蘋(píng)果公司的專(zhuān)利圖3A是利用從多個(gè)可穿戴設(shè)備提取的特征進(jìn)行全身姿勢(shì)估計(jì)的系統(tǒng)框圖；圖3B是利用從多個(gè)可穿戴設(shè)備提取的特征進(jìn)行全身姿勢(shì)估計(jì)的機(jī)器學(xué)習(xí)（ML）模型的訓(xùn)練過(guò)程的流程圖。

圖源：patentlyapple

蘋(píng)果公司的專(zhuān)利圖4是使用從多個(gè)可穿戴設(shè)備中提取的特征進(jìn)行全身姿勢(shì)估計(jì)的流程圖。

想了解更多專(zhuān)利細(xì)節(jié)，請(qǐng)查閱蘋(píng)果的專(zhuān)利申請(qǐng)US 20230101617 A1。

來(lái)源：patentlyapple