蘋果正在研究實(shí)時(shí)LiDAR表面跟蹤以及其他技術(shù)來記錄觸摸感

蘋果的增強(qiáng)現(xiàn)實(shí)耳機(jī)或未來的iPhone可以使用顯示器的光來跟蹤幾乎任何表面的運(yùn)動(dòng)，而手指設(shè)備可以向系統(tǒng)提供有關(guān)用戶可能觸摸的物體的詳細(xì)信息。

有傳言稱，蘋果正在開發(fā)一種VR或AR頭戴式耳機(jī)已有相當(dāng)長的一段時(shí)間，各種報(bào)告和專利申請都表明它可能會(huì)采取多種發(fā)展方向。在星期二專利和商標(biāo)局授予的一對專利中，揭示了該系統(tǒng)運(yùn)行的另外兩種方式。

輕型AR對象跟蹤

AR頭戴式耳機(jī)的優(yōu)點(diǎn)之一是在設(shè)置中包含了攝像頭。通常用于拍攝場景圖像并用于對象識別的相同硬件可用于執(zhí)行對象跟蹤，以查看物品相對于頭戴式耳機(jī)位置的實(shí)時(shí)位置變化。

針對AR的對象跟蹤的好處通常歸結(jié)為能夠?qū)?shù)字圖形覆蓋圖應(yīng)用于對象周圍的視頻源。例如，這可能包括控制器上特定于應(yīng)用程序的狀態(tài)指示器，否則該指示器在現(xiàn)實(shí)世界的視圖中將不可見。

但是，對象識別和對象跟蹤所需的資源以及確定方向的資源在系統(tǒng)上可能會(huì)非常繁重。在需要大量處理才能提供最佳體驗(yàn)的區(qū)域中，歡迎使用任何減少資源使用的方法。

在名為“帶有事件攝像機(jī)的AV / VR控制器”的專利中，蘋果公司提出了這樣一種想法，即攝像機(jī)系統(tǒng)可能不一定需要始終跟蹤與被跟蹤對象有關(guān)的所有像素，而是可以減少像素?cái)?shù)量當(dāng)只需要粗略檢查時(shí)，就可以大大降低。

蘋果公司建議系統(tǒng)選擇圖像中與被跟蹤物體有關(guān)的特定像素，從而提供光強(qiáng)度和其他屬性的讀數(shù)。如果攝像機(jī)或物體移動(dòng)或改變位置，則這幾個(gè)像素的光強(qiáng)度將變化超過設(shè)置的限制，從而觸發(fā)整個(gè)系統(tǒng)開始使用更多資源來搜索物體的變化方式。

假設(shè)系統(tǒng)使用光，則系統(tǒng)可以嘗試搜索相同的光點(diǎn)，而不是嘗試檢測物體，這也是可行的。如果對象上有多個(gè)亮點(diǎn)，并且系統(tǒng)僅跟蹤這些點(diǎn)，則它可能使用很少的資源來確定位置和方向的變化。

盡管這些光很容易成為物體外殼上環(huán)境照明的反射，但蘋果似乎正在考慮使用其他物體產(chǎn)生的光源，例如LED指示器或顯示圖案的顯示器。對于后者，只要屏幕可見，這將為系統(tǒng)提供足夠的定位和方向數(shù)據(jù)。

這樣的基于光的參考點(diǎn)不一定非要用于可見光，因?yàn)锳pple建議照明圖案可以包含不可見的波長。這將提供一個(gè)用戶不會(huì)看到的不引人注目的系統(tǒng)，并且可能提供一個(gè)可以不可見地使用不同光波長的系統(tǒng)，從而允許該系統(tǒng)與多個(gè)用戶或?qū)ο笠黄鸸ぷ鳌?/p>

鑒于它可以使用非人類可見光，因此蘋果采用另一種已經(jīng)熟悉的技術(shù)也是可行的。在TrueDepth相機(jī)和iPhone 12 Pro系列背面使用的LiDAR涉及發(fā)射紅外光的小點(diǎn)，這些小點(diǎn)反射回成像傳感器并用于繪制物體深度。

盡管對象本身不發(fā)出自己的光，但是光點(diǎn)反射將有效地處理相同的任務(wù)，并具有能夠跟蹤非電子或生物物品(例如用戶的手)的額外好處。

該專利將其發(fā)明人列為Peter Meier，并于2019年1月31日提交了專利。

對象屬性采樣

第二項(xiàng)專利涉及數(shù)據(jù)收集，特別涉及系統(tǒng)如何獲取有關(guān)用戶觸摸內(nèi)容的信息。

通常，視覺和聽覺介質(zhì)，AR和VR可以從引入的其他元素中受益，從而向用戶出售真實(shí)的數(shù)字對象的幻覺。這樣的系統(tǒng)需要知道如何在觸摸現(xiàn)實(shí)世界的項(xiàng)目時(shí)重新創(chuàng)建用戶可能會(huì)感覺到的感覺，以使其能夠通過觸覺反饋工具模仿效果。

在名為“帶有手指設(shè)備的計(jì)算機(jī)系統(tǒng)來采樣對象屬性的計(jì)算機(jī)系統(tǒng)”的專利中，蘋果公司建議使用手指佩戴的設(shè)備，該設(shè)備有兩種使用方式。盡管它們可用于向用戶提供觸覺反饋，但該專利更為重要的要素是它能夠檢測用戶可能接觸的真實(shí)對象的特征。

每個(gè)手指設(shè)備中的傳感器都能夠讀取用戶觸摸的真實(shí)對象表面的效果，例如表面輪廓，紋理，對象顏色和圖案，聲學(xué)屬性和重量。當(dāng)與其他元素(如頭戴式顯示器上的攝像頭)結(jié)合使用時(shí)，該系統(tǒng)將能夠收集有關(guān)物體的大量數(shù)據(jù)，然后可以將其提供給用戶。

這些傳感器可以包括應(yīng)變儀，超聲傳感器，直接接觸傳感器，溫度計(jì)，光檢測器，測距傳感器，加速度計(jì)，陀螺儀，指南針和電容傳感器等。

當(dāng)戴在手指的末端時(shí)，該專利建議用戶仍然能夠體驗(yàn)觸摸物體的感覺，因?yàn)槭种笁|將保持暢通無阻。傳感器可以通過接觸延伸超出指尖的突起來檢測，或者通過檢測用戶的手指受到觸摸物體的影響方式的變化來進(jìn)行檢測。

然后可以收集有關(guān)對象的數(shù)據(jù)，并將其歸檔并歸檔，以備將來系統(tǒng)使用，并有可能作為更廣泛的數(shù)據(jù)庫的一部分進(jìn)行共享。然后，該信息可以與觸覺反饋元素一起使用，以模擬對象向用戶或其他用戶的觸摸。

該專利的發(fā)明人為Paul X.Wang，于2019年4月22日提交。

先前的發(fā)展

Apple每周都會(huì)提交許多專利申請，但是專利申請的存在表明Apple的研究和開發(fā)工作是人們關(guān)注的領(lǐng)域，但它們不能保證這些想法會(huì)出現(xiàn)在未來的產(chǎn)品或服務(wù)中。

對象識別和跟蹤一直是Apple ARKit的重要組成部分，ARKit是面向希望向其應(yīng)用程序添加AR內(nèi)容的開發(fā)人員的工具包。這已經(jīng)擴(kuò)展到跟蹤建筑物和其他不動(dòng)的固定物體，以使數(shù)字物品可以漂浮或安裝在相機(jī)的世界視野中。

ARKit還能夠執(zhí)行運(yùn)動(dòng)捕獲，這需要一定程度的對象跟蹤，并且世界視圖中的其他對象也可以遮擋虛擬對象。

戴在手指上的設(shè)備先前已出現(xiàn)在專利申請中，例如2019年的“在手指按下輸入事件期間修改手指感覺的系統(tǒng)”。作為該想法的一部分，設(shè)備將連接到手指的末端，但使指墊對元件保持打開狀態(tài)。

為了在基于顯示器的鍵盤上打字時(shí)產(chǎn)生觸感，該設(shè)備在墊將要與顯示器接觸時(shí)會(huì)輕輕擠壓手指的側(cè)面。擠壓將指墊推到更引人注目的位置，從而在手指敲擊表面時(shí)增加了緩沖。