編譯/VR陀螺

早在2021 年，蘋果公司申請了一項名為“基于房間掃描的平面圖生成”的專利。隨后在 2022 年，蘋果推出了“RoomPlan”，這是一個全新的 Swift API，可利用 iPhone 和 iPad 上的攝像頭和LiDAR掃描儀創(chuàng)建房間的 3D 平面圖，包括尺寸和家具類型等關(guān)鍵特征。

近日，美國專利商標局授予了蘋果公司這項專利，該專利涵蓋了利用基于傳感器數(shù)據(jù)生成的物理環(huán)境3D表示法，來生成平面圖和測量值的設(shè)備、系統(tǒng)和方法。

基于房間掃描生成平面圖

蘋果公司獲得的專利涵蓋了利用物理環(huán)境的3D表示生成平面圖和測量結(jié)果的設(shè)備、系統(tǒng)和方法。物理環(huán)境的3D表示可以根據(jù)傳感器數(shù)據(jù)（如圖像和深度傳感器數(shù)據(jù)）生成。在某些實施方案中，使用物理環(huán)境的語義標簽3D表示法可方便生成平面圖和測量結(jié)果。一些實施方案對物理環(huán)境的3D點云進行語義分割和標記。通過使用語義3D表示法，例如將語義標注的3D點云編碼到2D橫向域上，本專利公開的技術(shù)具有許多優(yōu)勢。在2D橫向域中使用語義3D表示法可促進有效識別用于生成平面圖或測量結(jié)果的結(jié)構(gòu)。

專利指出，可以通過各種格式提供平面圖。在某些實施方案中，平面圖包括房間的2D俯視視圖。平面圖可以以圖形方式描述房間的邊界，例如，使用線條或其他圖形特征以圖形方式描述墻壁、障礙物或房間范圍的其他限制。平面圖可以用圖形描述墻壁邊緣、門和窗等墻壁特征的位置和幾何形狀。平面圖可以用圖形描述房間內(nèi)的物體，如沙發(fā)、桌子、椅子、電器等。平面圖可包括識別房間內(nèi)邊界、墻壁、門、窗和物體的標識符，例如，包括識別這些元素的文本標簽或參考數(shù)字。平面圖可包括房間中邊界、墻壁邊緣、門、窗和物體的測量指示，例如，包括指定墻壁長度、桌子直徑、窗戶寬度等的數(shù)字。

根據(jù)某些實施方案，平面圖的創(chuàng)建基于用戶執(zhí)行的房間掃描，例如，移動設(shè)備以捕捉房間中用戶周圍的圖像和深度數(shù)據(jù)。在房間掃描過程中，一些實施方案會提供初步2D平面圖的預覽。例如，當用戶在房間內(nèi)走動捕捉傳感器數(shù)據(jù)時，用戶的設(shè)備可以顯示正在生成的初步2D平面圖的預覽。該預覽是“實時”的，因為它是在持續(xù)捕捉用于生成初步2D平面圖的傳感器數(shù)據(jù)流或數(shù)據(jù)集的過程中提供的。

為實現(xiàn)對初步2D平面圖的實時預覽，預覽的生成方式（至少最初）可能與最終的掃描后平面圖不同。在一個示例中，生成預覽時不使用某些后處理技術(shù)（如微調(diào)、角校正等），而這些技術(shù)被用于生成最終的掃描后平面圖。在其他示例中，實時預覽可以使用計算密集度低于生成最終掃描后平面圖的神經(jīng)網(wǎng)絡(luò)。使用2D語義數(shù)據(jù)（例如，房間的不同層）也有助于使預覽確定足夠高效，以進行實時顯示。

在某些實施方案中，可以根據(jù)分別識別墻壁結(jié)構(gòu)（如墻壁邊緣、門和窗戶）和檢測物體（如家具、電器等）的邊界框來生成平面圖?？梢允褂貌煌募夹g(shù)分別檢測墻壁結(jié)構(gòu)和物體，然后將檢測結(jié)果合并，生成同時表示墻壁結(jié)構(gòu)和物體的平面圖。

在某些實施方案中，平面圖創(chuàng)建流程根據(jù)多層3D語義數(shù)據(jù)編碼的2D表示法來識別墻體結(jié)構(gòu)（例如墻邊）。例如，3D語義數(shù)據(jù)可以分割成多個水平層，用于識別房間墻壁邊緣的位置。

圖源：patentlyapple

蘋果專利圖 1 是操作環(huán)境 #100 的示例框圖。用戶可以使用 iPhone、iPad 或 Apple Vision Pro 掃描房間；圖 4 是使用3D數(shù)據(jù)和基于深度和光強圖像信息的語義分割生成語義3D表示的示例系統(tǒng)流程圖；圖 6 是基于物理環(huán)境的3D表示生成物理環(huán)境的2D平面圖的實時預覽的示例系統(tǒng)流程圖。

想了解更多專利詳細信息，請查閱蘋果公司的授權(quán)專利 11715265。

來源：patentlyapple