最近，一部《哪吒之魔童降世》的熱映，讓原本快要涼涼的暑期檔瞬間升溫，上映首日票房過(guò)2億，三天票房破7億，接連打破動(dòng)畫片首日、單日、首周記錄，被譽(yù)為“國(guó)漫之光”。不止《哪吒》，近年來(lái)國(guó)產(chǎn)動(dòng)畫市場(chǎng)上涌現(xiàn)了《白蛇·緣起》《大魚海棠》《大護(hù)法》《齊天大圣》等一大批優(yōu)秀作品，國(guó)內(nèi)電影市場(chǎng)陷入蕭條，但國(guó)漫市場(chǎng)卻以一年一部爆款的節(jié)奏持續(xù)繁榮，行業(yè)人士紛紛表示國(guó)漫的春天是真的要來(lái)了。而從制作上看，這些動(dòng)畫都無(wú)一例外大量的應(yīng)用了動(dòng)作捕捉技術(shù)，市場(chǎng)繁榮的背后，是國(guó)內(nèi)動(dòng)作捕捉的技術(shù)越來(lái)越成熟，應(yīng)用越來(lái)越廣泛。

但當(dāng)下，動(dòng)捕領(lǐng)域依舊是門檻重重，尤其對(duì)普通企業(yè)來(lái)說(shuō)，現(xiàn)階段的主流動(dòng)捕技術(shù)——慣性動(dòng)捕和光學(xué)動(dòng)捕，皆是費(fèi)用太高，對(duì)設(shè)備和環(huán)境要求太多。于是，近年來(lái)更加方便、高效、低成本的動(dòng)捕技術(shù)——視覺(jué)動(dòng)捕應(yīng)運(yùn)而生，在全球范圍內(nèi)備受關(guān)注研究，并且被業(yè)內(nèi)公認(rèn)為未來(lái)的主流趨勢(shì)。

太平洋未來(lái)科技自創(chuàng)立之初，就一直在視覺(jué)動(dòng)捕上進(jìn)行研究，通過(guò)不斷的技術(shù)研發(fā)嘗試、迭代、落地應(yīng)用，現(xiàn)階段已經(jīng)取得了多重突破。

在聊之前，我們先來(lái)看看視覺(jué)動(dòng)捕與傳統(tǒng)慣性動(dòng)捕和光學(xué)動(dòng)捕的區(qū)別到底在哪。

1
慣性動(dòng)捕

2
光學(xué)動(dòng)捕

光學(xué)動(dòng)作捕捉包括主動(dòng)光學(xué)捕捉和被動(dòng)光學(xué)捕捉，主動(dòng)主動(dòng)光學(xué)捕捉采用紅外led，速度大于240fps，工作環(huán)境限制較小，在室外也能操作，但容易導(dǎo)致運(yùn)作變形，精度較差；被動(dòng)光學(xué)捕捉慢一些，但是不需要在跟蹤物上通電，問(wèn)題就是成本高，需要大量幀率高的攝像頭，被動(dòng)光學(xué)式的技術(shù)相較成熟，一般情況下，被動(dòng)光學(xué)式的實(shí)用性更強(qiáng)，應(yīng)用范圍更廣，綜合性能（動(dòng)作精度、適用性、可拓展性、便捷性）更好些。

總體來(lái)看，光學(xué)捕捉相比慣性捕捉優(yōu)勢(shì)還是比較明顯的，就是精度，目前主流的技術(shù)基本可以做到精度在毫米級(jí)別。但是光學(xué)動(dòng)捕通常無(wú)法提供實(shí)時(shí)反饋，同時(shí)，源于光學(xué)系統(tǒng)的數(shù)據(jù)往往包含誤差以及噪聲。存在成本高昂、安裝要求高、對(duì)空間結(jié)構(gòu)要求高，不能有遮擋等問(wèn)題。而且不管是光學(xué)動(dòng)捕還是慣性動(dòng)捕，現(xiàn)階段在虛擬交互上還存在許多難題：從技術(shù)角度來(lái)看：技術(shù)難點(diǎn)主要是延時(shí)，以及信號(hào)噪音導(dǎo)致的動(dòng)作抖動(dòng)，而且無(wú)法實(shí)現(xiàn)雙手合十。從產(chǎn)品角度上來(lái)說(shuō)：從心理學(xué)角度看，在虛擬環(huán)境中，人如果沒(méi)有感知，動(dòng)作會(huì)緩慢并延遲，無(wú)法待很長(zhǎng)時(shí)間。而且很容易形成恐怖谷效應(yīng)，出現(xiàn)類人卻不是人的現(xiàn)象，讓人極為不舒服。所以動(dòng)捕產(chǎn)品絕對(duì)不是只要出個(gè)動(dòng)作就可以，而是要真的像人。

3
視覺(jué)動(dòng)捕

4
視覺(jué)動(dòng)捕的技術(shù)困難與階段目標(biāo)及突破

雖然視覺(jué)動(dòng)捕技術(shù)最近幾年一直有在被國(guó)際頂尖團(tuán)隊(duì)研究，但基于關(guān)節(jié)型角色的建模和動(dòng)畫制作仍被視為一項(xiàng)艱巨的任務(wù)，當(dāng)角色具有真實(shí)的人類外觀時(shí)尤是如此，因?yàn)槿宋锝巧恼_表達(dá)需要處理多個(gè)問(wèn)題。    

究其原因：

首先：人物角色的外觀已為人們所熟知，這使得每個(gè)人都成為了苛刻的觀察員，稍有不自然，就會(huì)被迅速察覺(jué)。

其次：人體的結(jié)構(gòu)尤其復(fù)雜，包含了200多塊骨骼以及600多塊肌肉，當(dāng)對(duì)剛性鏈接肢體進(jìn)行全方位建模時(shí)，工作量與工作難度就被大大增加。同時(shí)，軀體的可變性特征又進(jìn)一步增加了建模的復(fù)雜性。

最后：由于文化、個(gè)性、遺傳等因素的影響，人類的運(yùn)動(dòng)行為有著巨大的差異，這又再一次加大了建模的難度。

面對(duì)諸多困難，太平洋未來(lái)科技在視覺(jué)動(dòng)捕的研發(fā)上，也是幾經(jīng)波折。

太平洋未來(lái)科技算法負(fù)責(zé)人Grey坦言：“我們剛開始入手這個(gè)方向的時(shí)候，市面上沒(méi)有任何視覺(jué)動(dòng)作捕捉產(chǎn)品。因此可以借鑒的經(jīng)驗(yàn)很少，當(dāng)時(shí)也走了一些彎路。

起初，我們參考傳統(tǒng)動(dòng)捕技術(shù)認(rèn)為把相機(jī)數(shù)量減少到雙目是一個(gè)選擇，但是研發(fā)到后期，我們對(duì)雙目無(wú)法處理遮擋以及精度問(wèn)題不是很滿意，因此在保證精度差不多的情況下我們選擇了在單目環(huán)境下進(jìn)行研發(fā)。這樣就在消費(fèi)端減少了很多硬件限制，消費(fèi)者只要用手機(jī)上的相機(jī)就可以進(jìn)行捕捉，非常方便。”

現(xiàn)階段，從技術(shù)上來(lái)看，視覺(jué)動(dòng)捕的需求被定義為捕捉包括面部和身體在內(nèi)的完整運(yùn)動(dòng)。而目前的技術(shù)主要關(guān)注的是基本的骨骼從正面的運(yùn)動(dòng)，而不是其他的運(yùn)動(dòng)（如手臂和腳的微妙旋轉(zhuǎn)）。還有從側(cè)面的姿態(tài)估計(jì)，以及當(dāng)身體的某些部分沒(méi)有被捕捉到時(shí)，如何猜測(cè)姿勢(shì)。

而在應(yīng)用上，創(chuàng)建逼真的人體形態(tài)和動(dòng)作已被視為一項(xiàng)新的技術(shù)，其應(yīng)用場(chǎng)景非常廣泛。這項(xiàng)研究的短期目標(biāo)是使這項(xiàng)技術(shù)能夠應(yīng)用于許多不同的領(lǐng)域，而長(zhǎng)遠(yuǎn)目標(biāo)則是開發(fā)一套符合電影制作要求的單目/雙目運(yùn)動(dòng)捕捉系統(tǒng)。在目標(biāo)實(shí)現(xiàn)上可以分三個(gè)階段:

第一階段是靜態(tài)三維姿態(tài)估計(jì)，它常被用于醫(yī)學(xué)領(lǐng)域，如身體健康狀況檢測(cè)，它可以檢測(cè)病人脊椎是否正常，然后根據(jù)檢測(cè)結(jié)果科學(xué)判斷病人癥狀，并指導(dǎo)他們的加強(qiáng)肩頸的活動(dòng)與治療。值得注意的是，該技術(shù)不需要考慮遮擋，由于數(shù)據(jù)可以在特定情況下采集，所以佩戴時(shí)的情況較為寬松，實(shí)現(xiàn)起來(lái)也相對(duì)簡(jiǎn)單。

太平洋未來(lái)科技將靜態(tài)三維姿態(tài)估計(jì)應(yīng)用于普拉提項(xiàng)目（PC端）

在此基礎(chǔ)上，我們又繼續(xù)研究，為了更大限度的減少設(shè)備、場(chǎng)地的限制，我們又將PC端移植到了移動(dòng)端，僅通過(guò)手機(jī)即可獲取人體三維姿態(tài)，并且能夠準(zhǔn)確的防止誤檢測(cè)。

動(dòng)圖中可以清晰看到工作人員身后的保潔阿姨出現(xiàn)時(shí)，并不影響原本的檢測(cè)

第二階段是動(dòng)態(tài)三維姿態(tài)估計(jì)，常用于人機(jī)交互、身體游戲、運(yùn)動(dòng)分析等領(lǐng)域。它過(guò)去是由深度攝像頭輔助的，比如kinect設(shè)備?，F(xiàn)階段已經(jīng)有技術(shù)可以處理一定程度的閉塞和多人情況，但這項(xiàng)技術(shù)是基于簡(jiǎn)化的運(yùn)動(dòng)模型，省略了手指、腳趾和頭部的運(yùn)動(dòng)捕捉。

太平洋未來(lái)科技實(shí)現(xiàn)動(dòng)態(tài)三維姿態(tài)估計(jì)，PC端單目3D，可以視頻跟蹤實(shí)現(xiàn)轉(zhuǎn)身依舊動(dòng)作連貫

第三階段是動(dòng)態(tài)三維形狀和姿態(tài)估計(jì)，它可以應(yīng)用于需要對(duì)人體姿態(tài)進(jìn)行高精度估計(jì)的領(lǐng)域，如3D電影制作等，以降低成本。

因?yàn)檫@些領(lǐng)域?qū)?xì)節(jié)的要求極高，使得該技術(shù)需要考慮到人體的胖瘦形態(tài)，以及微小關(guān)節(jié)的運(yùn)動(dòng)。這便要求建模時(shí)不僅要考慮骨骼的運(yùn)動(dòng)，還要考慮整個(gè)人體的形狀，這樣才能將三維形狀以像素級(jí)的精度投影到二維圖像上。

另外，骨骼的運(yùn)動(dòng)能否符合人體運(yùn)動(dòng)學(xué)的規(guī)律也是一個(gè)復(fù)雜的問(wèn)題，單單只有火柴人就會(huì)導(dǎo)致驅(qū)動(dòng)的模型出現(xiàn)身體部位之間穿模，四肢自旋出不自然的角度。目前有兩種簡(jiǎn)化的方法來(lái)處理這個(gè)問(wèn)題：一是用動(dòng)作捕捉系統(tǒng)實(shí)時(shí)記錄主要骨骼的旋轉(zhuǎn)角度；另一個(gè)是用算法去逆推，比如逆運(yùn)動(dòng)學(xué)和對(duì)抗網(wǎng)絡(luò)。再者皮膚的可見幾何體是否精細(xì)取決于細(xì)節(jié)內(nèi)容和底層內(nèi)部結(jié)構(gòu)，如骨骼和肌肉結(jié)構(gòu)。因此，該階段的技術(shù)要求是最復(fù)雜的也是最難去實(shí)現(xiàn)的。

太平洋未來(lái)科技已經(jīng)能夠精確地捕捉動(dòng)態(tài)三維形狀和姿態(tài)

目前學(xué)術(shù)界已經(jīng)在各個(gè)以上各個(gè)目標(biāo)上都有相關(guān)研究，由于人體姿態(tài)的二義性，即同一個(gè)2d圖像可以代表多個(gè)人體姿態(tài)，該技術(shù)一般需要多視角來(lái)實(shí)現(xiàn)人體的重構(gòu)。而且前兩種類型不考慮四肢穿模的情況。而第三種不僅可以通過(guò)構(gòu)建人體皮膚的碰撞檢測(cè)，還可以通過(guò)皮膚來(lái)約束骨骼位置。由于存在大量的先驗(yàn)信息，研究發(fā)現(xiàn)單目的2d信息已經(jīng)包含足夠的3d信息。

以前的研究一般可以分為以上幾步

之前大部分的研究都是按照先估計(jì)出2D關(guān)鍵點(diǎn)再估計(jì)3D關(guān)鍵點(diǎn)的方法來(lái)構(gòu)建人體3D姿態(tài)信息，然而這樣會(huì)遺漏大量的像素級(jí)別的信息，比如同樣是腿往前或者往后伸，對(duì)應(yīng)2D關(guān)鍵點(diǎn)可能是一樣的。估計(jì)因此出現(xiàn)A的方法，先估計(jì)3D 形狀可以把肢體在畫面內(nèi)近大遠(yuǎn)小的原理考慮進(jìn)去，然后再通過(guò)人體皮膚的約束來(lái)提高3D關(guān)節(jié)的準(zhǔn)確性。然而試驗(yàn)結(jié)果是四肢并不理想，因?yàn)檫@樣的估計(jì)缺少了2D點(diǎn)位置的精確約束，只是實(shí)現(xiàn)了大概動(dòng)作輪廓的類似。這樣2D點(diǎn)（C）就可以利用2D姿勢(shì)信息，它不僅可以用作附加信息源，還可以作為通過(guò)將估計(jì)的3D姿勢(shì)投影到2D圖像來(lái)測(cè)量精度，并比較誤差。然而這樣的算法復(fù)雜度提高以后計(jì)算速度無(wú)法實(shí)現(xiàn)實(shí)時(shí)。

此外，還有很多技巧來(lái)避免人體測(cè)量不切實(shí)際的姿勢(shì)，比如膝蓋過(guò)度超伸。一種是利用先構(gòu)建好人體模型來(lái)估計(jì)姿態(tài)，一種是利用GAN網(wǎng)絡(luò)分辨出錯(cuò)誤的姿態(tài)。此外還有用時(shí)空順序或者多視角來(lái)實(shí)現(xiàn)動(dòng)作的連貫性和暫時(shí)的部位遮擋。不過(guò)前者會(huì)存在延時(shí)問(wèn)題，后者會(huì)出現(xiàn)拍攝環(huán)境不方便的問(wèn)題。

近期，太平洋未來(lái)科技在視覺(jué)動(dòng)捕上取得了又一關(guān)鍵性突破——通過(guò)添加骨骼限制能迅速遷移到手部姿態(tài)捕捉，實(shí)現(xiàn)實(shí)時(shí)捕獲3d手部姿態(tài)，在微小關(guān)節(jié)動(dòng)作捕捉上取得了重大突破。

Groud True （左），Predict（中），3d  result（右）

當(dāng)前大部分的3d人體姿態(tài)研究都側(cè)重于身體軀干的動(dòng)作捕捉（缺少手部），而對(duì)3d手勢(shì)的研究幾乎沒(méi)有。但手勢(shì)作為肢體語(yǔ)言的重要組成部分，準(zhǔn)確而又迅速的捕獲3d手部姿態(tài)，對(duì)生動(dòng)的還原人體姿態(tài)具有重要的意義。

  第一時(shí)間了解XR資訊  

  關(guān)注VR陀螺官網(wǎng)（vrtuoluo.cn）