Unite 2017 Shanghai將于5月11日-13日在上?！H會議中心隆重召開！Google 資深軟件工程師 Wim Meeussen分享《用Daydream和Tango探索VR和AR世界》主題，剖析為什么Google這么關(guān)注AR和VR，以及Daydream的定位及Tango的運(yùn)作方法。 以下為VR陀螺整理的演講實(shí)錄 Google 資深軟件工程師 Wim Meeussen： 我是Wim Meeussen，來自于Google公司，負(fù)責(zé)亞太區(qū)的工程團(tuán)隊(duì)。我談一下移動AR和VR。 Google的野心 為什么如此關(guān)注AR和VR 在開始之前，我想談一下為什么AR和VR這么重要。我們來看一下Google公司的愿景，Google希望能夠把所有的信息組織起來為人們所用，為什么Google這么關(guān)注AR和VR呢？答案在于如果我們看一下各種不同歷史上的計(jì)算平臺，我們相信AR和VR會成為下一代的計(jì)算平臺。 我們相信下一步時代是增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的時代。在這個時代里有很多的互動，在VR里面可以看成一種新的環(huán)境，它把我們處置在一個假的環(huán)境中，在VR里面我們可以對現(xiàn)實(shí)有更好的了解，AR和VR都是表達(dá)和使用信息的新途徑，正是因?yàn)檫@樣，Google非常重視AR和VR。 你要問我們?yōu)槭裁匆谝苿釉O(shè)備上設(shè)計(jì)AR和VR，因?yàn)槲覀內(nèi)澜绲囊苿釉O(shè)備非常多，如果我們要實(shí)現(xiàn)非常大的數(shù)據(jù)規(guī)模，我們必須要實(shí)現(xiàn)移動化，全球手機(jī)有30多億臺。這樣的規(guī)模對Google很有意義，對在座的諸位也很有意義。 我今天會介紹Daydream做VR的平臺，還有Tango做AR的平臺，這兩個平臺現(xiàn)在已經(jīng)存在了，我們可以買到一些設(shè)備，硬件軟件都存在了，不是一個未來的東西。 Google 的VR定位：主打移動端 先介紹一下Google虛擬現(xiàn)實(shí)的平臺Daydream。 首先Daydream在不同的平臺之間有定位，左邊是眼鏡這個是比較便宜的東西，是現(xiàn)今存在最大的VR平臺，我們已經(jīng)賣出了1000多萬個。右邊是更加高端的桌面的虛擬現(xiàn)實(shí)的東西，Daydream處在中間。 我們要體驗(yàn)Daydream，就需要一個有Daydream功能的手機(jī)和Daydream的查看器、控制器。要使這三個東西緊密地配合實(shí)現(xiàn)它們的功能。 我前面談到過規(guī)模，Google對一臺符合Daydream功能的手機(jī)，現(xiàn)在中國通信和摩托羅拉已經(jīng)有了這一類的手機(jī)，華碩和華為也正在開發(fā)這方面功能的手機(jī)。 這是一個Daydream眼鏡、查看器、耳機(jī)，我們要把它設(shè)計(jì)的比較柔軟，便于使用。所以在Daydream里面要進(jìn)入到VR，把手機(jī)放上去，把它關(guān)上就可以體驗(yàn)了。在查看器里面我們的手機(jī)會和我們的察看設(shè)備實(shí)現(xiàn)無線通訊和互動。另外我們還有控制器，對于VR來說，我們控制器要做的簡單易用，我們其實(shí)是蒙上眼睛就可以使用，控制器要非常地簡單，有一個可以點(diǎn)擊的觸屏，有一個應(yīng)用的按紐。 我們進(jìn)入到VR之后把耳機(jī)戴上會是什么情況呢？首先我們在Daydream里面先看到Daydreamhome，可以啟動和停止VR應(yīng)用，可以進(jìn)入到app store，我們可以下載新的應(yīng)用，可以采購一些APP，也可以看電影，我們整個體驗(yàn)都在VR里面，我們不需要進(jìn)出VR，甚至可以在里面打電話。 剛才我從消費(fèi)者角度談了一下Daydream，現(xiàn)在從開發(fā)者角度談一下Daydream。我們要做VR是什么意思呢？我們要欺騙我們的大腦，相信我們處在實(shí)際上不存在的環(huán)境當(dāng)中，讓大腦產(chǎn)生幻覺，產(chǎn)生幻覺要三個要素，首先要能看到一些東西，聽到一些東西，還要能夠進(jìn)行互動。 VR產(chǎn)生體驗(yàn)的三要素：圖像 聲音 交互 VR產(chǎn)生體驗(yàn)有三個要素，接下來會更詳細(xì)地從三個方面來闡述。 首先我們能夠看到一些東西在現(xiàn)實(shí)的世界當(dāng)中，如果我們移動很快就看到了一些運(yùn)動，比方說我轉(zhuǎn)個頭就可以看到。幾乎是在移動和看到圖象的延遲幾乎是零毫秒，在VR里面我們移動傳感器要能夠探測到移動在什么地方。 另外我們要提交渲染圖像，圖像出來以后才能看到運(yùn)動的模型，所以從開始移動到我們看到有很多不同的步驟。 我們要實(shí)現(xiàn)比較好效果的VR，滯后時間要小于20毫秒，正是因?yàn)檫@樣Daydream里面有特殊的軟件、硬件，確保滯后時間在20毫秒以內(nèi)。 下面我們再來看系統(tǒng)的UI，希望能夠在里面打電話、做購買。你可以待在VR里面，同時它的低延遲渲染也是非常重要的，可以在20秒當(dāng)中做很多事情。 另外一個非常重要的功能是音頻體驗(yàn)、聽覺體驗(yàn)。你想要去做這樣一個渲染，想要有這么好的一棵樹，你可以花很多的時間，或者很多CPU能夠讓每一張樹葉看起來都非常真實(shí)。 當(dāng)然，這在移動上是挺難做到的。但是我們可以這樣做，把樹用比較少的面數(shù)，給它加入音頻，對于用戶里面低面樹加上聲音之后代入感非常好，就跟比較好的渲染出來的代入感是一樣的，不需要用到那么多的CPU。音頻是一個比較便宜的解決方案，另外聲音在不同的地方表現(xiàn)也是不一樣的，比如說你在森林里面講話的聲音是不同于你在太空進(jìn)行的對話。因此我們要使得聲音也做的盡可能真實(shí)。 VR不僅僅只是左右聲道，這個聲音是360度，全方位環(huán)繞的。同時聲音就好像是背后傳來了很真實(shí)的聲音，你想要去查看一下，因此這個聲音也可以作為代入感的工具。 第三個要談的是你與這個世界的交互，我們這里有一個控制器，它有相應(yīng)的傳感器，可以對運(yùn)動進(jìn)行感知，它不僅僅只是做3D的控制，它是可以幫助你來做到自由運(yùn)動。 下面給大家分享一下VR的最佳實(shí)踐，首先有這么一點(diǎn)，如果你假設(shè)你的用戶是坐在沙發(fā)上，他很舒服，可能有20、30分鐘的時間給他，這個用戶可以到處去看，但是很難向后看，因?yàn)樗亲?，你就想象有這么的一個場景，你坐下來之后你也挺難去運(yùn)轉(zhuǎn)，很難轉(zhuǎn)動。假設(shè)這個就是你的用戶場景，你記住這一點(diǎn)就容易去進(jìn)行開發(fā)。 再來看看Motion，運(yùn)動。在現(xiàn)實(shí)生活當(dāng)中你的用戶是坐下來的，在虛擬世界當(dāng)中用戶坐下來就是完美的，因?yàn)閮烧呤强梢云ヅ涞?，是一樣的。如果你想使用motion運(yùn)動的話必須要非常謹(jǐn)慎，因?yàn)楹芏嗳藭羞\(yùn)動上的緊張感。有的時候你想要讓Motion盡可能地短時間，因?yàn)橛械娜丝赡軙胁贿m感。 再舉一個例子，有時候你看上去挺有趣的，現(xiàn)實(shí)當(dāng)中感覺有些東西挺恐怖的，但是這個感覺在VR當(dāng)中也是一樣讓人恐怖的，比如說有人有恐高癥，在VR當(dāng)中也是感覺不適的。另外有的人有幽閉空間恐懼癥，他會在開放空間也會感覺不舒服。如果有尖銳物體的話你會感覺你會受傷，你也不想有擠在中間的感覺。所以VR對用戶的感覺是非常真實(shí)的，它可以帶來非常真實(shí)的情感體驗(yàn)，所以你在設(shè)計(jì)的時候必須能夠重視這一點(diǎn)。 GoogleAR平臺Tango硬件及軟件設(shè)備 剛才談的是Daydream，是關(guān)于VR的。我的第二部分想要討論的是Tango，這是AR平臺。 如果VR是關(guān)于創(chuàng)作想象，那么AR真正重要的就是能夠讓你的手機(jī)去了解我們身邊的世界。 我這里再解釋一下它是怎么樣去運(yùn)作的。在Tango里面希望給你手機(jī)能夠有同樣的體驗(yàn)，看到場景的時候你希望Tango能夠了解背后的3D的幾何，不光光只是看到了像素，還可以看到3D的幾何世界。 先來看看Tango的硬件，每一個Tango手機(jī)有三個獨(dú)特之處，每個Tango手機(jī)都有特別的深度感知傳感器，它是有這樣的功能能夠讓它感知深度，此外它還有運(yùn)動追蹤器，因?yàn)槲覀冊谧鰣D象處理的工作，所以還有第三點(diǎn)，就是視覺處理器。 這就使得每一個Tango手機(jī)非常獨(dú)特，現(xiàn)在聯(lián)想在2016年12月已經(jīng)發(fā)布了這樣的一款手機(jī)，叫做Lenovo Phab2 Pro，華碩也開發(fā)了。Tango的攝像頭將會是手機(jī)的下一個變革，能夠讓人們更好地了解這個世界。 下面再來看看Tango的軟件設(shè)備。它有三塊，一塊兒是運(yùn)動追蹤，一塊兒是深度感知，一個是關(guān)于領(lǐng)域知識，也叫Area Learning。 運(yùn)動最后能夠告訴我運(yùn)動軌跡是什么樣的，深度感知能夠幫你看到3D世界， Area Learning是一種記憶，對Tango也是這樣的，我們給Tango這種記憶，讓它記住它去過哪里，記住手機(jī)的運(yùn)動軌跡，記住它經(jīng)過哪些地方。 為什么你需要這三塊兒來做VR呢？比如說我們做渲染，做一輛汽車的時候?yàn)槭裁葱枰@樣的渲染呢？ 我這里所拿的就是聯(lián)想這部手機(jī)，Phab2 Pro，它有G Pro的攝像頭，我像大家做的展示就是它能幫你理解AR的。 Tango手機(jī)實(shí)現(xiàn)的AR效果示例 這可能是AR的最簡單的版本，這里是有虛擬的角色，這個并不是非常棒的AR。 我們再向前一步，加入運(yùn)動追蹤，有虛擬的小貓，它可以移動。再加上深度感知看看，在這個版本當(dāng)中我們用了深度感知器，讓它去了解地板在這兒，能夠把它放在合適的地方。 因?yàn)槲覀兞私饬怂澈蟮膸缀螌W(xué)，所以我就可以去做點(diǎn)擊，讓它走到不同的地方?？纯茨懿荒茏屗阶雷由先?，現(xiàn)在我們有了運(yùn)動追蹤，有深度感知，這里面的AR做出來就是很棒了。 人可以通過這個桌子看到這個貓，這不太好，這就破壞了AR的幻覺，還有一個給大家展示的。我們會用深度傳感器對環(huán)境建立3D的網(wǎng)格，我們會告訴Tango在哪些地方有障礙，有遮擋，我這里有一個網(wǎng)格，小貓?jiān)谧雷雍竺?。我們看不清楚，如果我們建立真正的?yīng)用會把整個貓都遮擋起來，這里面會有陰影，我們要有很好的AR體驗(yàn)，要有不同的要素。 我們了解了它的運(yùn)動、重量、障礙、遮擋物，使得虛擬的物件就像真實(shí)的物件一樣受到這樣的效果，當(dāng)然我們要建立很好的AR，可以通過反光、光線能夠做到一些效果非常好的AR。 Ues Cases有哪些？我們可以用它來玩虛擬的家具、我們也可以用Tango來進(jìn)行三維的尺度測量、我們可以通過3D的模型在Tango里面對尺寸進(jìn)行測量和核對。 我前面講到過方位的感知、區(qū)域的學(xué)習(xí)，我們現(xiàn)在在這個房間里面，加入我們要感知一下在整個大樓里面的位置，在真實(shí)的世界對虛擬的物件要實(shí)現(xiàn)可視化，通過記憶，在植物園里面可以看到整個的熱帶雨林。 我們今天講到了Daydream和Tango，要有虛擬體驗(yàn)，所見、所聞三個因素，如何在VR里面實(shí)現(xiàn)真實(shí)的效果？首先要有真實(shí)的體驗(yàn)，這些物件必須看上去是真實(shí)的。這是我們的開發(fā)者網(wǎng)站，包括Daydream和Tango。 謝謝大家！