潛在的AI正在構(gòu)建軟件以使小型ML更加高級(jí)

在這個(gè)故事中，我想介紹兩件事。第一個(gè)是小型機(jī)器學(xué)習(xí)或小型ML的概念。第二個(gè)是初創(chuàng)公司，它是試圖圍繞該概念建立社區(qū)的眾多企業(yè)之一。讓我們首先解決微小的ML。

兩個(gè)月前，我訪問Microsoft并與Microsoft Research的首席軟件工程師Byron Changuion聊天之后，不知不覺中寫下了關(guān)于這個(gè)想法的文章。他正在為機(jī)器學(xué)習(xí)軟件構(gòu)建編譯器，以便可以在微處理器上運(yùn)行。我很著迷，因?yàn)榇蠖鄶?shù)公司都在努力制造低功率芯片，這些芯片可以在較小的甚至電池供電的設(shè)備上執(zhí)行機(jī)器學(xué)習(xí)推理。

但是沒有人真正提倡對(duì)像微控制器這樣的東西進(jìn)行推理的想法。AI涉及兩個(gè)階段：訓(xùn)練模型(該模型需要大量的訓(xùn)練數(shù)據(jù)集，并通過數(shù)據(jù)中心中的大型GPU或另一種類型的處理器來運(yùn)行它們)和推理。推論是針對(duì)訓(xùn)練后的模型運(yùn)行新數(shù)據(jù)以查看其是否合適。推理所需的計(jì)算能力比訓(xùn)練所需的要少，但推理仍會(huì)占用大量處理器。

寫完微軟的故事后，我了解了來自Google，高通和ARM等公司的整個(gè)社區(qū)，他們?cè)噲D將AI推論帶到最小和最遙遠(yuǎn)的邊緣。這個(gè)想法是，通過將機(jī)器學(xué)習(xí)模型放置在傳感器(而不是網(wǎng)關(guān))上，您可以過濾掉大量無用的數(shù)據(jù)，保護(hù)用戶隱私并改善延遲。

這個(gè)領(lǐng)域中的大多數(shù)演示都涉及在一角錢大小的傳感器上的人檢測計(jì)算機(jī)視覺或微型微控制器(MCU)上的語音識(shí)別。但是這里有巨大的潛力，尤其是與物聯(lián)網(wǎng)有關(guān)的潛力。這就是為什么我很高興遇到Jags Kandasamy的經(jīng)歷，他是一家成立11個(gè)月的初創(chuàng)公司Latent AI的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，該公司正在編寫軟件以幫助在最遠(yuǎn)的地方高效地運(yùn)行模型。

坎大薩米說，他的軟件可以優(yōu)化現(xiàn)有模型，因此它們可以在MCU上運(yùn)行，并且不會(huì)損失原始模型的準(zhǔn)確性。有兩種產(chǎn)品。一種產(chǎn)品包括在云中運(yùn)行的軟件，該軟件可幫助壓縮現(xiàn)有的神經(jīng)網(wǎng)絡(luò)，使其可以在較小的設(shè)備上運(yùn)行。另一個(gè)產(chǎn)品是一個(gè)編譯器，它可以將公司所說的庫文件壓縮10倍，只需幾個(gè)小時(shí)。Kandasamy說，他目前有10個(gè)客戶正在試用該軟件，并且正在與芯片供應(yīng)商進(jìn)行談判，以便他可以針對(duì)他們的芯片優(yōu)化該軟件。

坎大薩米(Kandasamy)向我展示了他如何使用流行的圖像識(shí)別神經(jīng)網(wǎng)絡(luò)，并使用優(yōu)化器對(duì)其進(jìn)行了調(diào)整，然后對(duì)其進(jìn)行編譯以在手機(jī)上運(yùn)行。手機(jī)顯然是比傳感器更高性能的設(shè)備，但是正如他指出的那樣，手機(jī)可以帶來更好的演示效果。在演示中，該模型運(yùn)行良好，可以識(shí)別會(huì)議中心周圍的人員，酒瓶和其他用具。

由神經(jīng)網(wǎng)絡(luò)生成的模型不僅限于計(jì)算機(jī)視覺或語音識(shí)別。例如，讓振動(dòng)傳感器運(yùn)行旨在檢測災(zāi)難性故障的模型，可以命令設(shè)備關(guān)閉。或者助聽器可能會(huì)運(yùn)行一個(gè)模型，該模型可以將對(duì)話與背景噪音區(qū)分開。我們很可能會(huì)在需要公司快速響應(yīng)的地區(qū)，對(duì)隱私至關(guān)重要的用例以及電池壽命至關(guān)重要的任何地方部署此類軟件。

6月，Latent AI籌集了由Steve Jurvetson在Future Ventures領(lǐng)導(dǎo)的350萬美元的種子輪融資，其中包括SRI International Ventures，Perot Jain和Gravity Ranch。潛在AI是SRI International的衍生產(chǎn)品。