蘋果正在開發(fā)用于動(dòng)態(tài)蘋果Glass音頻和AR圖像融合的軟件

Apple AR眼鏡或VR耳機(jī)可能包括可切換的音頻系統(tǒng)，該系統(tǒng)可以提供多種不同的聆聽模式，同時(shí)還包含可以將現(xiàn)實(shí)世界的視圖與虛擬圖像快速融合的系統(tǒng)。

諸如經(jīng)常被謠傳的Apple Glass智能眼鏡，增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)耳機(jī)之類的物品必須依靠為用戶提供令人信服的視覺效果和足夠的音頻來完全浸入。然而，這兩個(gè)因素都提出了自己的獨(dú)特問題，即生產(chǎn)頭戴式顯示器的公司必須征服它們。

耳機(jī)音頻

對(duì)于音頻，AR和智能眼鏡的音頻需求與VR的音頻需求之間存在巨大差異。盡管前者可能想要有限的音頻并且仍然能夠聽到環(huán)境的其余部分，但VR的使用通常依賴于屏蔽外部聲音，而僅留下虛擬世界的音頻。

當(dāng)前的頭戴式耳機(jī)如果需要用戶提供自己的頭戴式耳機(jī)，則可以實(shí)現(xiàn)此目的，但是具有內(nèi)置音頻系統(tǒng)的頭戴式耳機(jī)通常無(wú)法提供用戶所需的靈活性。

蘋果公司在周二獲得專利商標(biāo)局的一項(xiàng)名為“具有多模式音頻的顯示設(shè)備”的專利中，描述了帶有音頻組件的頭戴式視覺系統(tǒng)，該組件可以在頭戴式耳機(jī)的支撐結(jié)構(gòu)上的位置之間移動(dòng)。

蘋果公司提出，音頻系統(tǒng)可以在聽覺外模式和聽覺內(nèi)模式之間進(jìn)行切換。在聽覺外模式下，可移動(dòng)耳機(jī)系統(tǒng)的揚(yáng)聲器被握住并在距離耳朵不遠(yuǎn)的地方使用;在聽覺內(nèi)模式下，揚(yáng)聲器可以進(jìn)入耳道。在非聽覺下，該系統(tǒng)將使外部聲音更清晰地聽到，而第二種版本將在阻止用戶聽到環(huán)境聲音方面做得更多。

在兩種模式之間切換時(shí)，Apple建議在每個(gè)耳機(jī)中使用一個(gè)驅(qū)動(dòng)程序，這可以更改其通過不同端口投射聲音的方式以匹配兩個(gè)不同位置。這包括根據(jù)低音揚(yáng)聲器是否靠近耳朵，甚至是可能改變聲音運(yùn)動(dòng)的可切換物理元素，來調(diào)整低音揚(yáng)聲器的功率電平。

聲音生成模塊將在樞軸上使用短臂，該點(diǎn)距樞軸最遠(yuǎn)，該樞軸包含用于放置在耳朵中的元件。根據(jù)其旋轉(zhuǎn)方式，本機(jī)可以通過一種方法將音頻輸入到耳朵中，或者將另一種方法用于耳外聲音，并自動(dòng)進(jìn)行更改。

蘋果公司建議，除了旋轉(zhuǎn)之外，音頻元件還可以朝耳朵和遠(yuǎn)離耳朵傾斜以便于放置，并且可以包括伸縮部分。

該文件最初于2019年4月11日提交，列出了其發(fā)明者為Robert D.Silfvast，James W.VanDyle，Jeremy C.Franklin，Neal D.Evans和Christopher T.Eubank。

融合視野

在第二項(xiàng)專利中，Apple嘗試通過將真實(shí)的相機(jī)數(shù)據(jù)和為用戶即時(shí)執(zhí)行的數(shù)字化版本相結(jié)合，解決AR頭戴式耳機(jī)如何在現(xiàn)實(shí)世界的視頻源上呈現(xiàn)虛擬對(duì)象的問題。由于這需要準(zhǔn)確，快速地執(zhí)行，因此此類過程可能需要大量的計(jì)算資源才能達(dá)到較高的標(biāo)準(zhǔn)。

蘋果公司在名為“用于合并真實(shí)和虛擬圖像的方法和設(shè)備”的專利中，提出了一種系統(tǒng)可以使用盡可能少的資源來計(jì)算混合虛擬圖像的方法。

對(duì)于該系統(tǒng)，該專利提到了相機(jī)饋送如何為“實(shí)際像素”創(chuàng)建一系列值，該值具有“虛擬像素”形式的虛擬對(duì)應(yīng)物。每個(gè)像素都有自己的像素值，用于執(zhí)行計(jì)算以確定應(yīng)使用哪個(gè)最終像素值并顯示給用戶。

可以基于真實(shí)像素值和虛擬像素值之間的加權(quán)平均值將兩個(gè)像素值組合為一個(gè)值。蘋果公司認(rèn)為，權(quán)重可以部分基于真實(shí)或虛擬像素的alpha或透明度值來確定。

確定真實(shí)像素的alpha值可以通過以下方式來創(chuàng)建：對(duì)完整的相機(jī)圖像進(jìn)行下采樣，基于相機(jī)圖像創(chuàng)建模板，并基于下采樣圖像和模板生成消光參數(shù)矩陣。可以對(duì)該摳圖參數(shù)圖像進(jìn)行升采樣，進(jìn)而可以為像素值創(chuàng)建alpha。

此alpha值還可用于創(chuàng)建特定像素的顏色分量像素值，從而可以混合單個(gè)顏色而不是整個(gè)像素值本身。

通過使用該技術(shù)，可以認(rèn)為將圖像傳輸?shù)斤@示器所需的帶寬量可能小于僅由相機(jī)生成的數(shù)據(jù)的十分之一。

該專利將其發(fā)明人列為Pedro Manuel Da Silva Quelhas和Stefan Auer，并于2018年8月14日提交了專利。

Apple每周都會(huì)提交大量專利申請(qǐng)，但是專利的存在表明該公司的研發(fā)工作受到關(guān)注，但它們并不能保證這些概念會(huì)在未來的產(chǎn)品或服務(wù)中出現(xiàn)。

之前的工作

蘋果過去曾提交過許多有關(guān)AR和VR頭戴設(shè)備的文件，包括用于阻止VR用戶撞到物體，將圖形處理工作轉(zhuǎn)移到無(wú)線基站的系統(tǒng)，以及使用iPhone映射用于AR用途的房間的系統(tǒng)。使用板載傳感器等。