初創(chuàng)公司和學(xué)者尋找開發(fā)強大模擬AI的途徑

工程師一直在追求一種形式的AI，這種形式可以大大降低完成諸如識別單詞和圖像之類的典型AI事情所需的能量。這種機器學(xué)習(xí)的模擬形式使用電路的物理原理而不是數(shù)字邏輯來進行神經(jīng)網(wǎng)絡(luò)的關(guān)鍵數(shù)學(xué)運算之一。但是限制這種方法的主要因素之一是，深度學(xué)習(xí)的訓(xùn)練算法(反向傳播)必須由GPU或其他單獨的數(shù)字系統(tǒng)來完成。

現(xiàn)在，蒙特利爾大學(xué)AI專家Yoshua Bengio，他的學(xué)生Benjamin Scellier和初創(chuàng)公司RainNeuromorphics的同事們已經(jīng)想出了模擬AI進行自我訓(xùn)練的方法。根據(jù)Rain CTO Jack Kendall的說法，這種稱為平衡傳播的方法可能導(dǎo)致持續(xù)學(xué)習(xí)的低功耗模擬系統(tǒng)，其計算能力比目前業(yè)內(nèi)大多數(shù)人認為的更大。

模擬電路可以節(jié)省神經(jīng)網(wǎng)絡(luò)的功耗，部分原因是它們可以有效地執(zhí)行稱為乘法和累加的關(guān)鍵計算。該計算根據(jù)各種權(quán)重將輸入的值相乘，然后將所有這些值加起來。電氣工程的兩個基本定律基本上也可以做到這一點。歐姆定律將電壓和電導(dǎo)相乘以提供電流，基爾霍夫的“電流定律”將輸入點的電流相加。通過將神經(jīng)網(wǎng)絡(luò)的權(quán)重存儲在諸如憶阻器之類的電阻存儲設(shè)備中，乘法和累加可以完全以模擬方式發(fā)生，從而有可能將功耗降低幾個數(shù)量級。

今天的模擬AI系統(tǒng)無法自我訓(xùn)練的原因與組件的可有關(guān)。就像真實的神經(jīng)元一樣，模擬神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元的行為也不盡相同。要使用模擬組件進行反向傳播，您必須構(gòu)建兩條單獨的電路路徑。一個向前提出一個答案(稱為推理)，另一個向前進行學(xué)習(xí)，以便使答案變得更加準確。但是由于模擬成分的可，這些途徑不匹配。

Bengio說：“當(dāng)您反向通過網(wǎng)絡(luò)時，最終會積累錯誤。”為了進行補償，網(wǎng)絡(luò)將需要大量耗電的模數(shù)和數(shù)模電路，從而無法使用模擬。

平衡傳播允許部分地通過調(diào)整整個網(wǎng)絡(luò)的行為來在同一網(wǎng)絡(luò)上進行學(xué)習(xí)和推理。他說：“ [平衡傳播]允許我們說如何修改這些設(shè)備中的每一個，以使整個電路執(zhí)行正確的操作。”“我們直接將模擬設(shè)備中發(fā)生的物理計算轉(zhuǎn)換為我們的優(yōu)勢。”

目前，平衡傳播僅在仿真中起作用。但首席執(zhí)行官兼聯(lián)合創(chuàng)始人戈登·威爾遜(Gordon Wilson)表示，Rain計劃在2021年下半年采用硬件原理驗證。他說：“我們實際上是在嘗試從根本上重新構(gòu)想人工智能的硬件計算基礎(chǔ)，從大腦中找到正確的線索，并用這些線索為設(shè)計提供依據(jù)。”結(jié)果可能就是他們所謂的端到端模擬AI系統(tǒng)，該系統(tǒng)能夠運行復(fù)雜的機器人甚至在數(shù)據(jù)中心中發(fā)揮作用。目前，這兩種技術(shù)都被認為超出了模擬AI的功能，而模擬AI現(xiàn)在僅專注于為傳感器和其他低功耗“邊緣”設(shè)備增加推理功能，而將學(xué)習(xí)內(nèi)容留給了GPU。