Facebook公開有關(guān)為其Oculus虛擬現(xiàn)實(shí)耳機(jī)提供動力的AI

對于虛擬現(xiàn)實(shí)耳機(jī)，透視是關(guān)鍵。當(dāng)用戶移動視線或四處移動時，頭戴式耳機(jī)需要在他們眼前重新對準(zhǔn)場景，以適應(yīng)新的視角。過渡還必須以閃電般的速度進(jìn)行，以避免破壞幻想。

由于有了一個名為Oculus Insight的系統(tǒng)，F(xiàn)acebook Inc.設(shè)法在其Oculus VR設(shè)備系列中實(shí)現(xiàn)了所有這些工作，并在 今天進(jìn)行了詳細(xì)公開。Insight使用人工智能幫助Facebook的頭戴式耳機(jī)實(shí)時跟蹤佩戴者的位置和頭部方向。

首先，一些背景。Facebook今年推出了兩款VR頭戴設(shè)備：第一款被稱為Oculus Rift S，必須與計(jì)算機(jī)捆綁在一起，第二款是Oculus Quest，可以無線工作。該公司為這兩種產(chǎn)品都提供了一對手持控制器，供穿戴者使用以與虛擬對象進(jìn)行交互。

Oculus Insight依靠控制器和頭戴式耳機(jī)中的傳感器來跟蹤用戶的位置。核心數(shù)據(jù)由所謂的慣性測量單元提供，這些慣性測量單元收集有關(guān)設(shè)備的線性加速度及其旋轉(zhuǎn)速度的信息。

洞察力可以使用這些讀數(shù)粗略了解用戶的位置和頭角，但僅靠這些信息是不夠的。這是因?yàn)閼T性測量單位容易出現(xiàn)微小的誤差，如果不加以檢查，會導(dǎo)致主要數(shù)據(jù)誤差的增加。Insight采用了兩種不同的方法來消除測量誤差，一種用于用戶的VR頭戴式耳機(jī)，另一種用于手中的控制器。

為了跟蹤耳機(jī)，系統(tǒng)利用了Oculus Rift S和Oculus Quest內(nèi)置的攝像頭。Insight將用戶環(huán)境的靜態(tài)功能用作位置指示器，以平衡慣性測量單位數(shù)據(jù)中的誤差

“來自頭戴式耳機(jī)中攝像頭的圖像數(shù)據(jù)有助于生成房間的3D地圖，精確定位地標(biāo)，例如家具的角落或地板上的圖案。Facebook的研究員Joel Hesch，Anna Kozminksi和Oskar Linde在博客文章中解釋道：“反復(fù)觀察這些標(biāo)志性建筑可以使Insight補(bǔ)償漂移。”

第二種糾錯方法有助于跟蹤控制器在用戶手中的位置?？刂破魍獠康亩O管發(fā)出的肉眼看不到紅外光，但是可以被Oculus耳機(jī)拾取，然后用它確定手持配件的相對位置。

Oculus Insight每毫秒刷新一次位置測量值，以提供平穩(wěn)的過渡。作為額外的措施，F(xiàn)acebook的工程師在系統(tǒng)中內(nèi)置了一個預(yù)測引擎，該引擎可以預(yù)測用戶的頭和手在幾毫秒內(nèi)的位置，從而使內(nèi)置的AI算法可以進(jìn)一步優(yōu)化性能。

Oculus Insight的創(chuàng)新成果可能不僅對VR頭戴設(shè)備具有更大的價值。系統(tǒng)所基于的核心位置跟蹤技術(shù)，同時定位和地圖繪制(SLAM)也用于包括自動駕駛在內(nèi)的其他領(lǐng)域。

Facebook的Joel Hesch，Anna Kozminksi和Oskar Linde寫道：“這項(xiàng)工作可能對研究SLAM的研究人員以及受益于低資源，高精度房間映射的任何系統(tǒng)(例如數(shù)字助理和物理機(jī)器人)產(chǎn)生廣泛的影響。” 。他們補(bǔ)充說，該技術(shù)將來可能有助于制造“具有空間意識的全天可穿戴式AR眼鏡”。