編譯/VR陀螺

Facebook設(shè)想了一個(gè)未來，當(dāng)你戴著增強(qiáng)現(xiàn)實(shí)眼鏡或其他由人工智能驅(qū)動的設(shè)備時(shí)，你將學(xué)會打鼓或做一道新菜。為了使這個(gè)未來成為現(xiàn)實(shí)，F(xiàn)acebook需要其人工智能系統(tǒng)通過你的眼睛來觀察世界。

圖源：Getty Images

Facebook的首席研究科學(xué)家Kristen Grauman說道："在這個(gè)世界上，我們會有可穿戴設(shè)備，通過在正確的時(shí)刻提供信息或幫助我們獲取記憶，這些設(shè)備將使我們在日常生活中受益。”她表示，這項(xiàng)技術(shù)最終可以用來分析我們的活動，幫助我們找到丟失的物品，比如我們的鑰匙。

這個(gè)未來還很遙遠(yuǎn)，F(xiàn)acebook與雷朋合作推出的智能眼鏡就證明了這一點(diǎn)，它在今年9月亮相時(shí)并沒有AR功能。實(shí)現(xiàn)這個(gè)未來的部分挑戰(zhàn)是訓(xùn)練人工智能系統(tǒng)更好地理解人們拍攝的照片和視頻，以便人工智能能夠幫助人們記住重要信息。

Facebook表示，它與13所大學(xué)和實(shí)驗(yàn)室合作，招募了750人，在兩年內(nèi)拍攝了超過2200小時(shí)的第一視角視頻。參與者居住在英國、意大利、印度、日本、沙特阿拉伯、新加坡、美國、盧旺達(dá)和哥倫比亞，他們拍攝了自己從事日?；顒拥囊曨l，如運(yùn)動、購物、注視寵物或園藝。他們使用了各種可穿戴設(shè)備，包括GoPro相機(jī)、Vuzix Blade智能眼鏡和ZShades視頻錄制太陽鏡。

從下個(gè)月開始，F(xiàn)acebook的研究人員將能夠申請?jiān)L問這個(gè)數(shù)據(jù)寶庫。這個(gè)名為Ego4D的新項(xiàng)目讓我們看到了一家科技公司如何改進(jìn)AR、虛擬現(xiàn)實(shí)和機(jī)器人等技術(shù)，使它們在我們的日常生活中發(fā)揮更大的作用。

這個(gè)新項(xiàng)目是在Facebook的動蕩時(shí)期進(jìn)行的。在《華爾街日報(bào)》發(fā)表了一系列關(guān)于Facebook的內(nèi)部研究表明它知道該平臺的危害的報(bào)道后，這家社交網(wǎng)絡(luò)巨頭面臨著來自立法者、倡導(dǎo)團(tuán)體和公眾的審查。Facebook前產(chǎn)品經(jīng)理Frances Haugen上周在美國國會作證，講述了她在5月離開該公司前拿走的數(shù)千頁機(jī)密文件的內(nèi)容。她計(jì)劃在英國作證，并在不久的將來與Facebook的半獨(dú)立監(jiān)督委員會會面。

甚至在Haugen進(jìn)行披露之前，F(xiàn)acebook的智能眼鏡就已經(jīng)引發(fā)了批評者的擔(dān)憂，他們擔(dān)心該設(shè)備會被用來秘密記錄人們。在研究第一人稱視角視頻的過程中，F(xiàn)acebook表示它解決了隱私問題。設(shè)備佩戴者可以查看和刪除他們的視頻，該公司還模糊了被拍攝的旁觀者的臉和車牌。

Facebook表示，作為新項(xiàng)目的一部分，它為研究人員創(chuàng)造了五個(gè)基準(zhǔn)挑戰(zhàn)。這些基準(zhǔn)包括情景記憶，因此你知道在什么時(shí)候發(fā)生了什么事；預(yù)測，所以計(jì)算機(jī)知道你接下來可能會做什么；以及手和物體操作，以了解一個(gè)人在視頻中正在做什么。最后兩個(gè)基準(zhǔn)是理解視頻中誰說了什么，什么時(shí)候說的，以及互動中的伙伴是誰。

"這設(shè)立了一個(gè)標(biāo)準(zhǔn)，只是為了讓它開始，"Grauman說道。"這通常是相當(dāng)強(qiáng)大的，因?yàn)楝F(xiàn)在你將有一個(gè)系統(tǒng)的方法來評估數(shù)據(jù)。"

幫助人工智能理解第一人稱視角視頻可能具有挑戰(zhàn)性，因?yàn)橛?jì)算機(jī)通常會從旁觀者的第三人稱視角拍攝的圖像中學(xué)習(xí)。當(dāng)你記錄自己踢足球或坐過山車時(shí)，諸如運(yùn)動模糊和不同角度的鏡頭等挑戰(zhàn)等問題就會出現(xiàn)。

Facebook表示，它正在考慮將該項(xiàng)目擴(kuò)展到其他國家。該公司表示，視頻片段的多樣化很重要，因?yàn)槿绻鸄R眼鏡需要幫助一個(gè)人做咖喱或洗衣服，人工智能助手需要了解這些活動在世界不同地區(qū)的差異。

Facebook還透露，視頻數(shù)據(jù)集包括在九個(gè)國家的73個(gè)地點(diǎn)拍攝的各種活動。參與者包括不同年齡、性別和職業(yè)的人。

圖源：Facebook

COVID-19的爆發(fā)也給研究帶來了限制。例如，數(shù)據(jù)集中能看到的更多鏡頭是烹飪或手工制作等居家活動，而不是公共活動。

與Facebook合作的一些大學(xué)包括英國的布里斯托爾大學(xué)、美國的喬治亞理工大學(xué)、日本的東京大學(xué)和哥倫比亞的安第斯大學(xué)。

來源：cnet