使用ARKit記錄空間聲音并在虛擬3D波形中移動

代碼藝術(shù)家Zach Lieberman在iOS 11中利用了蘋果公司新的ARKit框架，構(gòu)建了一個令人毛骨悚然的概念驗證的空間音頻應(yīng)用程序，該應(yīng)用程序可用于記錄增強(qiáng)現(xiàn)實中的聲音并通過在虛擬3D波形中移動來回放聲音。這是一個演示此操作的快速視頻(請務(wù)必打開聲音)

在太空錄音并通過其移動(視頻有聲音!)播放的快速測試#openframeworks pic.twitter.com/GdZcK3rj1L

— zach lieberman(@zachlieberman)2017年9月6日

他使用ARKit和OpenFrameworks(用于創(chuàng)意編碼的開源C ++工具箱)構(gòu)建了該文件。

我可以在博物館中看到這種用途，作為一種交互式藝術(shù)裝置：想象一下以這種方式錄制音樂作品時，音符和節(jié)奏占據(jù)著人們可以通過移動3D波形進(jìn)行播放的空間模式。

甚至可以設(shè)置裝置或?qū)Ｓ媒∩砺窂?，人們可以在其中慢跑以播放預(yù)先錄制的音樂?；蛘撸绾卧谠鰪?qiáng)現(xiàn)實中進(jìn)行尋寶游戲，您必須在整個房屋中找到音頻線索?

可能性無窮無盡-如果您可以使用ARKit進(jìn)行空間音頻處理，那么就可以想象增強(qiáng)現(xiàn)實的單詞，推文，表情符號，浮動的樂譜等等。

這是Zach的更多演示，展示了ARKit如何實時檢測對象點。

快速測試動畫點云數(shù)據(jù)pic.twitter.com/34mQvuKXNd

另一個pic.twitter.com/5RSFSzSg5N

它的冷靜來看待的特征點，看到模型，可以大廈(THX @xavitribo)pic.twitter.com/8rqObs8seI

Zach的演示讓我想起了Kimchi and Chips工作室的“光屏障”系列，該項目使用數(shù)百個校準(zhǔn)的視頻投影在空中創(chuàng)建體積圖。如下面嵌入的視頻所示，這些光投影在霧域中合并，以創(chuàng)建圖形對象，這些圖形對象會隨著時間的推移在物理空間中進(jìn)行動畫處理。

今天早些時候，我們展示了由開發(fā)商最終的測量應(yīng)用的Rinat Khanov，叫MeasureKit，你可以用任何東西，就像一個人的高度，到物體的距離，兩點之間的角度，通過更多的對象指向你的iPhone來衡量剛想。