使用的能量少10倍來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)

賴斯大學(xué)的“早起的鳥兒”對蠕蟲的關(guān)心較少。它正在尋找數(shù)百萬噸的溫室氣體排放量。

Early Bird是一種用于培訓(xùn)深度神經(jīng)網(wǎng)絡(luò)(DNN)，無人駕駛汽車，智能助手，面部識別和許多其他高科技應(yīng)用背后的人工智能(AI)形式的節(jié)能方法。

賴斯大學(xué)和得克薩斯州農(nóng)工大學(xué)的研究人員于4月29日在國際學(xué)習(xí)代表大會ICLR 2020上的聚焦論文中宣布了《早起的鳥兒》。賴斯高效智能計(jì)算(EIC)實(shí)驗(yàn)室的主要作者尤浩然和李朝建的一項(xiàng)研究表明，“早起的鳥兒”可以將DNN訓(xùn)練到相同的準(zhǔn)確性水平，或者比典型訓(xùn)練更好地消耗了10.7倍的能量。EIC實(shí)驗(yàn)室的負(fù)責(zé)人Lin Yingyan和Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同領(lǐng)導(dǎo)了這項(xiàng)研究。

Lin說：“最近AI突破的主要?jiǎng)恿κ且敫?，更昂貴的DNN。”“但是培訓(xùn)這些DNN需要大量的精力。要揭示更多的創(chuàng)新，必須找到既能解決環(huán)境問題又能減少AI研究的財(cái)務(wù)障礙的'綠色'培訓(xùn)方法。”

培訓(xùn)最先進(jìn)的DNN不僅成本高昂，而且成本越來越高。一個(gè)2019年的研究由艾倫研究所AI在西雅圖發(fā)現(xiàn)，培養(yǎng)第一流的所需的計(jì)算數(shù)量深層神經(jīng)網(wǎng)絡(luò)增加了30萬次二〇一二年至2018年之間，以及不同的2019研究在麻省大學(xué)的研究人員發(fā)現(xiàn)，碳訓(xùn)練單個(gè)精英DNN的足跡大約等于五輛汽車的終身二氧化碳排放量。

DNN包含數(shù)百萬甚至數(shù)十億個(gè)學(xué)會執(zhí)行特定任務(wù)的人工神經(jīng)元。無需任何明確的編程，人造神經(jīng)元的深層網(wǎng)絡(luò)就可以通過“研究”大量先前的示例來學(xué)習(xí)做出類似于人的決策，甚至勝過人類專家。例如，如果DNN研究貓和狗的照片，它就會學(xué)會識別貓和狗。經(jīng)過深入研究的棋盤游戲Go深度網(wǎng)絡(luò)AlphaGo在研究了成千上萬的先前玩過的游戲之后，在2015年擊敗了職業(yè)人類玩家。

賴斯布朗工程學(xué)院的電氣和計(jì)算機(jī)工程助理教授林說：“進(jìn)行DNN培訓(xùn)的最先進(jìn)方法稱為漸進(jìn)式修剪和培訓(xùn)。”“首先，您要訓(xùn)練密集的大型網(wǎng)絡(luò)，然后刪除不重要的部分(例如修剪樹)。然后，對修剪的網(wǎng)絡(luò)進(jìn)行重新培訓(xùn)以恢復(fù)性能，因?yàn)樾藜艉笮阅軙陆?。?shí)際上，您需要修剪和重新訓(xùn)練多次獲得良好的性能。”

修剪是可能的，因?yàn)榫W(wǎng)絡(luò)中只有一小部分人造神經(jīng)元可以潛在地完成專門任務(wù)的工作。訓(xùn)練會加強(qiáng)必要神經(jīng)元之間的聯(lián)系，并揭示哪些神經(jīng)元可以被修剪掉。修剪可減少模型大小和計(jì)算成本，使部署經(jīng)過全面培訓(xùn)的DNN更加經(jīng)濟(jì)實(shí)惠，尤其是在內(nèi)存和處理能力有限的小型設(shè)備上。

林說：“第一步，訓(xùn)練密集，龐大的網(wǎng)絡(luò)是最昂貴的。”“我們在這項(xiàng)工作中的想法是在這個(gè)昂貴的第一步的開始階段，確定最終的，功能齊全的修剪網(wǎng)絡(luò)，我們將其稱為“早鳥票”。

通過在訓(xùn)練的早期階段尋找關(guān)鍵的網(wǎng)絡(luò)連接模式，Lin和同事們既發(fā)現(xiàn)了早鳥票的存在，又使用它們簡化了DNN訓(xùn)練。在對各種基準(zhǔn)數(shù)據(jù)集和DNN模型進(jìn)行的實(shí)驗(yàn)中，Lin及其同事發(fā)現(xiàn)，“早起的鳥兒”在訓(xùn)練初期可能只出現(xiàn)十分之一或更少的時(shí)間。

林說：“我們的方法可以在密集的巨型網(wǎng)絡(luò)訓(xùn)練的前10%或更少的時(shí)間內(nèi)自動識別早鳥票。”“這意味著您可以訓(xùn)練DNN，以給定任務(wù)在大約傳統(tǒng)訓(xùn)練所需時(shí)間的10%或更少的時(shí)間內(nèi)達(dá)到相同或什至更好的精度，這可以節(jié)省大量的計(jì)算和能源。”

開發(fā)使AI更環(huán)保的技術(shù)是Lin團(tuán)隊(duì)的主要重點(diǎn)。關(guān)注環(huán)境是主要?jiǎng)訖C(jī)，但林說有很多好處。

她說：“我們的目標(biāo)是使AI更加環(huán)保，更具包容性。”“復(fù)雜的AI問題的龐大規(guī)模使較小的參與者望而卻步。綠色AI可以打開大門，使研究人員可以用筆記本電腦或有限的計(jì)算資源來探索AI創(chuàng)新。”