編譯/VR陀螺

近日，蘋果公司一系列新專利曝光，在其中的兩項專利中，蘋果的VR或AR頭顯可以根據(jù)監(jiān)測用戶的身體動作來移動用戶的虛擬化身，而其設備的電池壽命也可以通過一些巧妙的數(shù)據(jù)傳輸技術進行延長。

據(jù)信，蘋果正在開發(fā)VR或AR頭顯，以及被稱為 "蘋果眼鏡"的AR智能眼鏡。在進入一個緩慢增長的人機互動領域的過程中，蘋果也在試圖通過工程設計解決各種問題，以使其產(chǎn)品從其他頭戴式設備中脫穎而出。

而在新專利中，蘋果公司認為它可以改進其頭顯設備所能提供的東西，涉及到它如何與用戶互動，以及它如何與主機設備進行通信。

第一項專利 "生成身體姿勢信息 "涵蓋了系統(tǒng)追蹤用戶運動的能力，然后使用這些數(shù)據(jù)來執(zhí)行其他相關動作。

在蘋果的專利背景中，他們指出，頭戴式設備（HMD）向用戶展示了沉浸式CGR體驗。有些CGR體驗需要知道用戶的身體姿勢。例如，一些CGR體驗呈現(xiàn)了一個模仿用戶行為的虛擬化身。如果用戶移動他們身體的某一部分，化身也會移動相應的部分。

蘋果估計，一些沉浸式計算機生成的現(xiàn)實體驗需要了解用戶的身體姿勢。在一些體驗中，VR或AR應用可能會根據(jù)用戶的姿勢或動作，對其呈現(xiàn)的內(nèi)容做出改變，比如游戲中的警衛(wèi)會對用戶的姿勢做出不同的反應。

更明確地說，蘋果公司建議，了解身體的姿勢可以用來控制用戶的虛擬化身。這在流行的在線VR社交體驗或聊天等情況下可能很有用，它可以利用其他硬件的運動來改變用戶化身的動作。

根據(jù)該專利，蘋果公司建議可以使用各種相機和神經(jīng)網(wǎng)絡來學習姿勢，多個神經(jīng)網(wǎng)絡一起工作來模擬單個身體關節(jié)。每個神經(jīng)網(wǎng)絡都單獨工作，但其結果被反饋到一起以創(chuàng)建整個身體模型。

訓練將以多種方式進行，不僅要訓練對攝像機數(shù)據(jù)的理解，還要培訓網(wǎng)絡如何相互交互。這包括 "確定分支的多個神經(jīng)網(wǎng)絡系統(tǒng)的各自拓撲結構"。

蘋果公司的專利圖1B是一個示例身體姿勢確定器的框圖，它是神經(jīng)網(wǎng)絡訓練系統(tǒng)#180的一部分；圖5A是一個示例操作環(huán)境的圖。

圖源：patentlyapple

就網(wǎng)絡能收集多少關于一個人姿勢的信息而言，有說法稱監(jiān)測到的關節(jié)涵蓋了 "衣領區(qū)、肩關節(jié)、肘關節(jié)、腕關節(jié)、骨盆關節(jié)、膝關節(jié)、踝關節(jié)和指關節(jié)"。邊緣，即關節(jié)之間的連接元素，也由該系統(tǒng)確定。

該列表涵蓋了創(chuàng)建用戶身體模型所需的所有基本要素，盡管細節(jié)程度不高。例如，雖然提到了 "指關節(jié)"，很可能是作為手勢的一個關鍵元素，但腳趾或腳部運動似乎沒有涵蓋到同樣的程度。

該專利的發(fā)明人是Andreas N. Bigontina、Behrooz Mahasseni、Gutemberg B. Guerra Filho、 Saumil B. Patel和Stefan Auer，這五位工程師中的兩位曾是Metaio的員工，他們是通過收購加入到蘋果公司中的。該專利最初于2019年9月23日提交。

第二項則是與VR有關的專利，該專利描述了"自適應無線傳輸方案"，瞄準了處理頭顯和主機之間的通信。

圖源：蘋果專利

雖然存在像Oculus Quest這樣的一體式系統(tǒng)，但它們會增加設備的重量，雖然系留式設置可以減輕重量，但電纜本身可能是一個問題。解決這個問題的辦法是采用無線通信系統(tǒng)，以減輕重量并消除電纜。

然而，即使是無線系統(tǒng)也會引發(fā)不少問題。例如，傳輸數(shù)據(jù)需要消耗電力，而且無線系統(tǒng)的可用帶寬通常比電纜系統(tǒng)低，此外還有固有的干擾問題和其他中斷性問題。

在蘋果的專利中，它建議可以使用無線系統(tǒng)，但為了減少一次性傳輸?shù)臄?shù)據(jù)量，該系統(tǒng)必須發(fā)送更少的視頻數(shù)據(jù)。蘋果希望將使用的帶寬減半，而不是讓數(shù)據(jù)覆蓋兩個眼睛的完整數(shù)據(jù)流。

專利計劃通過使用左眼數(shù)據(jù)和右眼數(shù)據(jù)的交錯幀傳輸來實現(xiàn)這一目標。一旦收到兩只眼睛的幀數(shù)據(jù)，系統(tǒng)就會將它們顯示給用戶。

為了通過減少傳輸?shù)臄?shù)據(jù)來進一步改善系統(tǒng)，數(shù)據(jù)的每一幀不一定是完整的。蘋果建議可以進行部分幀傳輸，可能涵蓋急需更新的元素，并允許重復使用涵蓋非更新部分的早期幀的元素。

專利還提到了眼動追蹤，這也可以在系統(tǒng)中發(fā)揮作用。通過了解用戶正在看的地方，這些區(qū)域可以被優(yōu)先更新，而使用深Loveated顯示可以減少屏幕上沒有被看到的部分所需的細節(jié)數(shù)量，以再次節(jié)省數(shù)據(jù)。

這樣一個系統(tǒng)有可能提供極高的幀率，"使用滾動快門每秒至少100幀"，盡管這可能沒有你想象的那么高。有一項權利要求以 "低于每秒60幀 "的速度接收幀，但由于眼睛幀是以交替的方式顯示的，所以它可以做到每秒大于100幀的速度。

其他要素包括監(jiān)測無線鏈路和使用多個連接以保持高水平的帶寬，以及數(shù)據(jù)傳輸時間。

該專利最初于2019年5月14日提交，專利發(fā)明人為Aleksandr M. Movshovich、Arthur Y. Zhang、Hao Pan、Holly E. Gerhard、Jim C．Chou、Moinul H. Khan、Paul V. Johnson、Sorin C. Cismas、Sreeraman Anantharaman, 以及William W. Sprague。

蘋果公司每周都會提交大量的專利申請，雖然專利的存在表明其研發(fā)團隊對該領域感興趣，但并不保證它們會出現(xiàn)在未來的產(chǎn)品或服務中。

蘋果在VR和AR領域有許多專利申請，其中也有與這兩項新專利相關聯(lián)的部分。

例如，它過去曾研究過以中心視力為重點的顯示器，包括在2019年的一項專利中，一個系統(tǒng)可以提供高的頭顯刷新率。2020年，它探索了一個類似的系統(tǒng)，通過使用注視點檢測，使用眼動追蹤來決定屏幕的哪些部分需要投入資源。

手勢識別以前也出現(xiàn)過幾次，蘋果公司2018年的一項專利涉及安裝在頭顯下方的攝像頭如何監(jiān)測用戶的手，從而管理3D文件。2015年，蘋果專利認為可以通過機器視覺在遠處識別用戶的手勢。

來源：appleinsider、patentlyapple