腦啟發(fā)算法幫助AI系統(tǒng)實現(xiàn)多任務(wù)和記憶

在今天的大多數(shù)人工智能技術(shù)背后，從自動駕駛汽車到面部識別和虛擬助手，都是人工神經(jīng)網(wǎng)絡(luò)。雖然松散地基于神經(jīng)元在大腦中的通信方式，但這些“深度學(xué)習(xí)”系統(tǒng)仍然無法實現(xiàn)對靈長類動物和其他生物必不可少的許多基本功能。

然而，芝加哥大學(xué)神經(jīng)科學(xué)家的一項新研究發(fā)現(xiàn)，適應(yīng)眾所周知的大腦機制可以顯著提高人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多項任務(wù)的能力，并避免持續(xù)的AI挑戰(zhàn)“災(zāi)難性遺忘”。該研究發(fā)表在美國國家科學(xué)院院刊上，提供了一個獨特的例子，說明神經(jīng)科學(xué)研究如何為新的計算機科學(xué)策略提供信息，相反，AI技術(shù)如何幫助科學(xué)家更好地理解人類大腦。

當(dāng)結(jié)合先前報道的用于穩(wěn)定人工神經(jīng)網(wǎng)絡(luò)中的突觸連接的方法時，新算法允許單個人工神經(jīng)網(wǎng)絡(luò)以最小的精度損失來學(xué)習(xí)和執(zhí)行數(shù)百個任務(wù)，從而可能實現(xiàn)更強大和有效的AI技術(shù)。

“直觀地說，你可能認為你希望網(wǎng)絡(luò)知道的任務(wù)越多，網(wǎng)絡(luò)可能就越大，”UChicago神經(jīng)生物學(xué)教授David Freedman說。“但是大腦認為可能有一種有效的方法可以將大量知識打包到一個相當(dāng)小的網(wǎng)絡(luò)中。當(dāng)你看到大腦中涉及更高認知功能的部分時，你往往會發(fā)現(xiàn)相同的區(qū)域，甚至是相同的細胞，參與許多不同的功能。這個想法是從大腦的作用中汲取靈感，以便用神經(jīng)網(wǎng)絡(luò)解決挑戰(zhàn)。“

在人工神經(jīng)網(wǎng)絡(luò)中，“災(zāi)難性遺忘”指的是教導(dǎo)系統(tǒng)執(zhí)行新技能而不丟失先前學(xué)習(xí)的功能的困難。例如，如果最初訓(xùn)練以區(qū)分狗和貓的照片的網(wǎng)絡(luò)然后被重新訓(xùn)練以區(qū)分狗和馬，它將失去其早期的能力。

“如果你展示一個訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)是一項新任務(wù)，它將完全忘記它以前的任務(wù)，”AB'18的格雷戈里格蘭特說，他現(xiàn)在是弗里德曼實驗室的研究員。“它說，'我不需要那些信息'，并覆蓋它。這是災(zāi)難性的遺忘。它發(fā)生得很快;只需幾次迭代，你的上一個任務(wù)就可以完全消失。”

相比之下，即使相同的神經(jīng)元用于多個任務(wù)，大腦也能夠“不斷學(xué)習(xí)”，獲取新知識而不消除舊記憶。大腦用于這種學(xué)習(xí)挑戰(zhàn)的一種策略是針對不同任務(wù)選擇性激活細胞或細胞組分 - 基本上為每種個體技能或在不同環(huán)境下打開較小的，重疊的子網(wǎng)絡(luò)。

UChicago研究人員通過他們稱為“依賴于上下文的門控”的算法將這種神經(jīng)科學(xué)機制應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)。對于每個學(xué)到的新任務(wù)，只激活一個隨機20%的神經(jīng)網(wǎng)絡(luò)。在對數(shù)百個不同任務(wù)進行網(wǎng)絡(luò)訓(xùn)練之后，單個節(jié)點可能涉及數(shù)十個操作，但每個技能都有一組唯一的對等節(jié)點。

結(jié)合以前由Google和斯坦福大學(xué)研究人員開發(fā)的方法，依賴于上下文的門控允許網(wǎng)絡(luò)學(xué)習(xí)多達500個任務(wù)，但準(zhǔn)確度只有很小的降低。

“這種簡單的工作做得有點令人驚訝，”Freedman實驗室的博士后研究員Nicolas Masse說。“但是通過這種方法，一個相當(dāng)中等規(guī)模的網(wǎng)絡(luò)可以被分割成一堆方法，以便能夠在正確完成后學(xué)習(xí)許多不同的任務(wù)。”

因此，該方法可能在不斷發(fā)展的人工智能行業(yè)具有巨大潛力，其中開發(fā)自動駕駛汽車，機器人技術(shù)和其他智能技術(shù)的公司需要將復(fù)雜的學(xué)習(xí)能力打包到消費級計算機中。UChicago團隊目前正與Polsky創(chuàng)業(yè)與創(chuàng)新中心合作，探索該算法的商業(yè)化選擇。

計算研究還有益于實驗室最初的重點是通過記錄動物學(xué)習(xí)和行為的活動來更好地理解靈長類大腦。研究人員說，在計算機中實現(xiàn)學(xué)習(xí)，注意力，感官處理和其他功能的建模和測試策略可以激發(fā)和建議新的生物實驗，探索自然和人工智能的機制。

“將這一研究成果添加到實驗室中，確實為我們開啟了很多大門，讓我們能夠考慮新的問題，新的神經(jīng)科學(xué)主題以及我們目前無法通過實驗技術(shù)解決的問題。我們可以在實驗室里找到，“弗里德曼說。“我們希望這是實驗室中更多工作的起點，既可以確定這些原則，又可以幫助創(chuàng)建人工網(wǎng)絡(luò)，繼續(xù)學(xué)習(xí)并利用先前的知識。”