蘋果的Measure應用程序可能會通過AR獲得即時自動的測量

Apple正在尋求將Apple AR技術添加到 iPhone 上的 Measure 應用程序中，使其更準確，并使用測量值自動注釋對象。

引入 LiDAR 后，iPhone上的 Measure 應用程序變得有用且更加準確?，F(xiàn)在，Apple 一直在研究引入其 Apple AR 技術，以使其更快、更準確。

將來，將 iPhone 相機對準某個物體可以自動在屏幕上顯示其測量值通知。它將通過 AR 來實現(xiàn)，并且部分地通過機器學習對不同類型的對象來實現(xiàn)。

“基于對象分類的自動測量”是一項新公開的專利申請。它涉及如何確定您對哪個對象感興趣，然后如何準確地測量它。

該專利申請?zhí)貏e廣泛，包括“獲得物理環(huán)境三維(3D)表示的設備、系統(tǒng)和方法”。生成的細節(jié)基于一系列不同的傳感器和測量值，與“深度數(shù)據(jù)和光強度圖像數(shù)據(jù)”有關。

“[這些] 根據(jù) 3D 表示生成與物理環(huán)境中的對象對應的 3D 邊界框，”Apple 說，“根據(jù) 3D 邊界框和 3D 語義數(shù)據(jù)對對象進行分類，并顯示對象的測量值，其中對象的測量是使用根據(jù)對象的分類選擇的多個特定于類的神經(jīng)網(wǎng)絡之一來確定的。”

首先，AR 將確定您對什么對象感興趣。專利申請并沒有詳細說明該確定是如何進行的。不過，您可以推斷它類似于人像模式識別您正在關注前景中的人的方式。

“在某些使用物理環(huán)境的語義標記的 3D 表示的實現(xiàn)中，對象檢測和對象測量的生成得到了促進，”專利申請說。“一些實現(xiàn)對物理環(huán)境的 3D 點云進行語義分割和標記。”

然而，它決定了你對測量感興趣和不感興趣，這個未來的測量應用程序可能會使用“多種不同的技術”。

“在某些實現(xiàn)中，通過首先根據(jù)深度數(shù)據(jù)為對象生成 3D 邊界框來測量對象，”Apple 說，“使用各種神經(jīng)網(wǎng)絡和此處描述的改進算法改進邊界框。”

邊界框可以從確定對象的基本寬度、高度和深度開始。然后，Measure 應用程序進一步嘗試對物體進行分類，例如，它是椅子還是電視機。

“[例如，一個] 對象是使用機器學習技術(例如，神經(jīng)網(wǎng)絡)對不同對象類型進行不同類型的測量，”Apple 說。“[不同] 類型的測量可能包括椅子的座位高度、電視的顯示直徑、圓桌的桌子直徑、矩形桌子的桌子長度等等。”

機器學習已經(jīng)能夠識別和分類對象，甚至可以從平面圖像中識別。例如，Pixelmator Pro 等 Mac 圖像編輯器使用它來自動標記圖層。

蘋果希望“訓練”機器學習以適合測量特定對象。

“例如，可以訓練一個模型并使用它來確定椅子類型對象的測量值(例如，確定座椅高度、手臂長度等)，”Apple 說，“而另一個模型可能會被訓練