4月7日，光感科技公布了一項(xiàng)全新的研發(fā)成果，XR操作系統(tǒng)feelarOS。該操作系統(tǒng)可以安裝在任何安卓手機(jī)上運(yùn)行，并能夠?qū)⑹謾C(jī)App以“超大懸浮屏”的形態(tài)開啟在智能眼鏡的3D空間中，實(shí)現(xiàn)“騰空點(diǎn)擊交互”。

XR操作系統(tǒng)feelar OS手機(jī)配合AR眼鏡的使用效果圖

據(jù)了解，feelar OS是針對安卓操作系統(tǒng)進(jìn)行了重構(gòu)，光感科技采用自主研發(fā)的三維引擎，給操作系統(tǒng)換上一顆“XR心臟”，使同一個App既可以在手機(jī)中使用，又可以在智能眼鏡中使用。feelar OS支持?jǐn)?shù)百萬安卓應(yīng)用3D化，包括瀏覽器、視頻、音樂、社交等全部安卓應(yīng)用，解決了AR眼鏡及VR頭盔應(yīng)用種類欠缺的一大痛點(diǎn)。

小屏變大屏，手機(jī)能用的XR智能操作系統(tǒng)

光感feelarOS安裝在手機(jī)中，具有多用的特點(diǎn)：當(dāng)用戶不使用AR眼鏡時，feelar OS就是智能手機(jī)操作系統(tǒng)；而通過TYPE-C或者無線連接到智能眼鏡后，安卓App可以啟動在智能眼鏡中的3D空間中，以多窗口形態(tài)呈現(xiàn)多個80英寸左右的懸浮式界面，讓手機(jī)App從小屏變成虛擬的超級大屏。更重要的是，在智能眼鏡中呈現(xiàn)的App全都支持虛擬觸控等多種交互方式，用戶可以用手柄或手指“騰空”觸控安卓App的圖形界面完成交互。通過AR和VR眼鏡，能讓App實(shí)現(xiàn)大視場角顯示，高效多任務(wù)交互，從而讓用戶擺脫手機(jī)小屏幕的束縛。

在技術(shù)路線上，feelarOS并非通過傳統(tǒng)“同屏/投屏”功能開啟應(yīng)用，而是將應(yīng)用啟動在三維空間中，通過左右眼視差渲染出具有不同深度的3D頁面。

真正的XR，AR和VR技術(shù)首次融為一體

作為XR操作系統(tǒng)，光感科技feelarOS首次將AR和VR兩大技術(shù)體系融合到一個操作系統(tǒng)中。feelarOS除了能安裝在手機(jī)中，還能直接安裝在主流的AR眼鏡和VR頭盔中，并支持AR多任務(wù)模式、VR沉浸模式以及在兩種模式中靈活切換。

“AR多任務(wù)模式”下，feelar OS追求高效的多任務(wù)、多進(jìn)程同時運(yùn)行，尤其適用于辦公用戶或者觀影愛好者，系統(tǒng)將多個安卓App以固定限制的視場角大小顯示在三維空間中。限制應(yīng)用顯示大小的好處是不會過于遮擋視線，用戶可以在移動出行過程中安全使用AR眼鏡。feelarOS的操作界面適用于Unity開發(fā)的3D應(yīng)用和安卓2D應(yīng)用，安卓2D應(yīng)用可以輕易的貼附在現(xiàn)實(shí)空間的墻壁、桌面上，在降低了交互的復(fù)雜度的同時減輕多任務(wù)的渲染量，實(shí)現(xiàn)設(shè)備的低功耗、長時間運(yùn)行。

XR操作系統(tǒng)feelar OS手機(jī)配合AR眼鏡的使用效果圖

feelarOS的“VR沉浸模式”主要用于沉浸式游戲、應(yīng)用或者全景視頻等，讓用戶獲得完全沉浸式的VR體驗(yàn)。例如用戶開啟180°至360°視場角的的沉浸式應(yīng)用，系統(tǒng)會自動進(jìn)入全視角顯示模式，其它的App窗口暫時消失，在AR眼鏡中獲得與VR頭盔一致的沉浸式體驗(yàn)。

新開發(fā)的應(yīng)用支持App內(nèi)的AR與VR靈活切換。feelar OS提供系統(tǒng)級的接口，為新開發(fā)的應(yīng)用提供多種模式的切換支持與系統(tǒng)級交互支持，根據(jù)應(yīng)用場景的需要變化AR和VR模式，動態(tài)擴(kuò)展應(yīng)用顯示的視場角大小。在系統(tǒng)上為開發(fā)人員在AR與VR空間自由拓展的交互場景提供了更靈活的技術(shù)。

強(qiáng)大的人工智能AI團(tuán)隊(duì)，實(shí)現(xiàn)高精度SLAM和三維手勢算法

光感團(tuán)隊(duì)?wèi)?yīng)用最新的人工智能技術(shù)，在AI計(jì)算機(jī)視覺領(lǐng)域取得了較大突破。光感科技投入研發(fā)了Insideout方案的VIO SLAM算法和雙手26DoF手勢追蹤，經(jīng)過兩年的研發(fā)，目前也進(jìn)入測試階段，將在不久的將來發(fā)布。其中，SLAM算法針對移動平臺進(jìn)行了優(yōu)化，在占用較低的資源情況下實(shí)現(xiàn)高精度的定位跟蹤，并支持回環(huán)檢測，能夠在ARM架構(gòu)的嵌入式平臺高效流暢運(yùn)行?；?/span>IMU和視覺的多傳感器融合算法，克服卷簾相機(jī)帶來的低照條件下圖像模糊問題，實(shí)現(xiàn)流暢穩(wěn)定運(yùn)行。此外，該SLAM算法中還有自動標(biāo)定相機(jī)內(nèi)外參功能，能夠應(yīng)用于各種型號的機(jī)型設(shè)備。

光感還利用計(jì)算機(jī)視覺技術(shù)開發(fā)了激光雷達(dá)自動泊車、智能安防、人臉識別、手勢識別、人臉口罩檢測、三維重建等技術(shù)。在XR交互方面，利用深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了雙手26DOF三維手勢追蹤識別。目前，光感團(tuán)隊(duì)在計(jì)算機(jī)視覺領(lǐng)域經(jīng)過多年的積累，已逐步達(dá)到了行業(yè)技術(shù)的領(lǐng)先水平。

光感科技雙手26DOF手勢追蹤識別

據(jù)了解，光感（上海）科技有限公司在成立前，公司的團(tuán)隊(duì)已經(jīng)在AR和VR領(lǐng)域埋頭研發(fā)了多年，主要創(chuàng)業(yè)方向是致力于下一代計(jì)算平臺XR的相關(guān)技術(shù)研發(fā)，通過研究XR中最重要且必須邁過去的最關(guān)鍵技術(shù)，推動XR產(chǎn)業(yè)發(fā)展。光感除了有應(yīng)用于5G的XR操作系統(tǒng)feelar OS，還有XR三維引擎、人工智能、計(jì)算機(jī)視覺等領(lǐng)域積累的多項(xiàng)研發(fā)成果，此后將陸續(xù)推出一系列的行業(yè)解決方案。