一種新型的大腦啟發(fā)式AI學(xué)習(xí)方法可節(jié)省內(nèi)存和能量

盡管經(jīng)常進(jìn)行類比，但當(dāng)今的AI的工作原理與人腦的原理截然不同?，F(xiàn)在，研究人員提出了一種與生物學(xué)聯(lián)系更緊密的新學(xué)習(xí)方法，他們認(rèn)為這可以幫助我們達(dá)到大腦無與倫比的效率。

現(xiàn)代深度學(xué)習(xí)至少是受生物學(xué)啟發(fā)的，以被稱為神經(jīng)元的單個(gè)計(jì)算單元的大型網(wǎng)絡(luò)之間的連接強(qiáng)度來編碼信息。不過，最大的區(qū)別可能是這些神經(jīng)元相互交流的方式。

人工神經(jīng)網(wǎng)絡(luò)被組織成層，每個(gè)神經(jīng)元通常連接到下一層中的每個(gè)神經(jīng)元。信息以高度同步的方式在層之間傳遞，因?yàn)閿?shù)字落在確定神經(jīng)對之間的連接強(qiáng)度的范圍內(nèi)。

另一方面，生物神經(jīng)元通過發(fā)射稱為尖峰的電脈沖進(jìn)行交流，每個(gè)神經(jīng)元都按照自己的時(shí)間表進(jìn)行交流。連接并沒有整齊地分成幾層，并具有許多反饋回路，這意味著神經(jīng)元的輸出通常最終會影響其輸入。

這種基于峰值的方法在能源效率上要高得多，這就是為什么訓(xùn)練最強(qiáng)大的AI需要幾千瓦的電能，而大腦只需要20瓦。這引起了人們對人工增幅神經(jīng)網(wǎng)絡(luò)以及所謂的神經(jīng)形態(tài)硬件(模仿大腦的物理組織和原理)的計(jì)算機(jī)芯片的開發(fā)的興趣，這種計(jì)算機(jī)芯片可以更有效地運(yùn)行它們。

但是，我們對這些基于尖峰的方法的理解仍不完善，它們難以達(dá)到更常規(guī)的人工神經(jīng)網(wǎng)絡(luò)的性能。不過，如今，來自奧地利格拉茨工業(yè)大學(xué)的研究人員認(rèn)為，他們可能已經(jīng)找到了一種利用與峰值神經(jīng)網(wǎng)絡(luò)一起工作的生物似然學(xué)習(xí)方法來發(fā)揮深度學(xué)習(xí)能力的方法。

在深度學(xué)習(xí)中，通過使網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行預(yù)測然后評估距離有多遠(yuǎn)來對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。然后，該錯(cuò)誤會通過網(wǎng)絡(luò)反饋回來，以指導(dǎo)神經(jīng)元之間連接強(qiáng)度的調(diào)整。此過程稱為反向傳播，經(jīng)過多次迭代將調(diào)整網(wǎng)絡(luò)，直到做出準(zhǔn)確的預(yù)測為止。

可以將類似的方法應(yīng)用于尖峰神經(jīng)網(wǎng)絡(luò)，但是它需要大量的內(nèi)存。顯然，這不是大腦解決學(xué)習(xí)問題的方法，因?yàn)樗箦e(cuò)誤信號在時(shí)間和空間上通過神經(jīng)元之間的突觸向后發(fā)送，這顯然是不可能的。

這促使研究人員，誰是人腦項(xiàng)目的一部分，來看看兩個(gè)特征，已成為實(shí)驗(yàn)神經(jīng)科學(xué)中的數(shù)據(jù)清楚：每個(gè)神經(jīng)元保持小號先前活動的存儲器中的分子標(biāo)志物的形式，隨著時(shí)間慢慢淡化;和大腦提供自上而下的使用像神經(jīng)遞質(zhì)多巴胺調(diào)節(jié)學(xué)習(xí)信號S ^神經(jīng)元群的行為。

在紙張自然傳播，在奧地利隊(duì)描述了小號他們是如何創(chuàng)建d的這兩個(gè)特點(diǎn)的人工類似物來創(chuàng)建他們稱之為E-道具一個(gè)新的學(xué)習(xí)模式。盡管該方法的學(xué)習(xí)速度比基于反向傳播的方法要慢，但可以實(shí)現(xiàn)可比的性能。

更重要的是，它允許在線學(xué)習(xí)。這意味著，無需立即處理大量數(shù)據(jù)(這需要不斷地往返于內(nèi)存進(jìn)行傳輸，而這對機(jī)器學(xué)習(xí)的能源費(fèi)用做出了重大貢獻(xiàn))，該方法只是從可用的數(shù)據(jù)中學(xué)習(xí)。這極大地減少了所需的內(nèi)存和能量，這使得在較小的移動設(shè)備中進(jìn)行片上學(xué)習(xí)變得更加實(shí)用。