聲音 振動識別增強了上下文感知計算

如果智能設備不了解它們的位置或者周圍的人正在做什么，它們看起來就會顯得愚蠢?？▋?nèi)基梅隆大學的研究人員表示，通過分析聲音和振動的補充方法可以增強環(huán)保意識。

CMU人機交互研究所(HCII)的助理教授克里斯哈里森說：“坐在廚房臺面上的智能揚聲器無法弄清楚它是否在廚房里，更不用說知道一個人在廚房里做了什么。” “但如果這些設備能夠理解周圍發(fā)生的事情，那么它們可能會更有幫助。”

Harrison和Future Interfaces Group的同事今天將在柏林的計算機協(xié)會用戶界面軟件和技術研討會上報告這個問題的兩種方法 - 一種使用最普遍的傳感器，麥克風，另一種采用現(xiàn)代傳感器20世紀50年代克格勃使用的日常版竊聽技術。

在第一種情況下，研究人員試圖開發(fā)一種基于聲音的活動識別系統(tǒng)，稱為Ubicoustics。該系統(tǒng)將使用智能揚聲器，智能手機和智能手表中的現(xiàn)有麥克風，使他們能夠識別與地點相關的聲音，如臥室，廚房，工作室，入口和辦公室。

“這里的主要思想是利用娛樂業(yè)中常用的專業(yè)音效庫，”Gierad Laput博士說。HCII的學生。“它們干凈，標簽清晰，分割良好且多樣化。此外，我們可以將它們轉換并投影到數(shù)百種不同的變體中，創(chuàng)建大量數(shù)據(jù)，非常適合培訓深度學習模型。

“這個系統(tǒng)可以作為軟件更新部署到現(xiàn)有設備并立即工作，”他補充說。

即插即用系統(tǒng)可以在任何環(huán)境中工作。例如，當有人敲擊前門時它可以提醒用戶，或者當檢測到活動時移動到食譜中的下一步，例如運行攪拌器或切碎。

研究人員包括Karan Ahuja，博士。HCII的學生和軟件研究所助理教授Mayank Goel開始使用現(xiàn)有的聲音標簽模型，并使用專業(yè)圖書館的聲音效果進行調整，如廚房用具，電動工具，吹風機，鍵盤等。特定于語境的聲音。然后，他們合成地改變了聲音，創(chuàng)造了數(shù)百種變化。

拉普特說，識別聲音并將它們置于正確的環(huán)境中是一項挑戰(zhàn)，部分原因是因為經(jīng)常出現(xiàn)多種聲音并且可能相互干擾。在他們的測試中，Ubicoustics的準確度大約為80%，與人類的準確性相比具有競爭力，但還不足以支持用戶應用程序。更好的麥克風，更高的采樣率和不同的模型架構都可以通過進一步的研究提高準確性。

在另一篇論文中，HCII博士。學生楊章，拉普特和哈里森，描述了他們所謂的Vibrosight，它可以使用激光振動測量法檢測房間特定位置的振動。它類似于KGB曾用于檢測窗戶等反光表面上的振動的基于光的設備，允許他們收聽產(chǎn)生振動的對話。

“關于振動的一個很酷的事情是，它是大多數(shù)人類活動的副產(chǎn)品，”張說。在跑步機上跑步，敲擊錘子或在鍵盤上打字都會產(chǎn)生可在遠處探測到的振動。“另一個很酷的事情是振動局限于表面，”他補充道。與麥克風不同，一項活動的振動不會干擾另一種活動的振動。與麥克風和攝像頭不同，監(jiān)控特定位置的振動會使這種技術變得謹慎并保護隱私。

這種方法確實需要一個特殊的傳感器，一個低功率激光器和一個電動的可操縱鏡子。研究人員以約80美元的價格建造了他們的實驗裝置 反光標簽 - 用于制造夜間更加明顯的自行車和行人的相同材料 - 應用于要監(jiān)控的物體。傳感器可以安裝在房間的角落，可以監(jiān)控多個物體的振動。

張說，傳感器可以檢測設備是否開啟或關閉，準確度達到98%，并根據(jù)物體的振動曲線識別出設備的準確率為92%。它還可以檢測移動，例如當有人坐在其中時椅子的移動，并且它知道某人何時阻擋了傳感器的標簽視圖，例如當有人使用水槽或洗眼器時。