人工智能的兩個(gè)基本要素是訓(xùn)練和推理

許多人已經(jīng)觀察到，我們正處于下一次工業(yè)革命的曙光：人工智能(AI)革命。這場智能革命帶來的好處將是很多的：在醫(yī)學(xué)，改進(jìn)的診斷和精確治療，更好的天氣預(yù)報(bào)以及自動駕駛汽車等方面。但是，這場革命的成本之一將是為它供電的數(shù)據(jù)中心增加電力消耗。數(shù)據(jù)中心的電力使用量預(yù)計(jì)將在未來10年內(nèi)翻一番，并有望在2030年之前消耗全球11%的電力。除了采用AI外，這一趨勢的其他驅(qū)動因素還包括向云的遷移以及CPU，GPU的電力使用量的增加。和其他服務(wù)器組件，它們變得越來越強(qiáng)大和智能。

人工智能的兩個(gè)基本要素，即訓(xùn)練和推理，各自消耗的能量不同。訓(xùn)練涉及對非常大的數(shù)據(jù)集進(jìn)行計(jì)算密集型矩陣運(yùn)算，這些數(shù)據(jù)集通常以TB到PB為單位。這些數(shù)據(jù)集的示例范圍從在線銷售數(shù)據(jù)到捕獲的視頻提要，再到腫瘤的超高分辨率圖像。從本質(zhì)上講，AI推理在計(jì)算上要輕得多，但是可以無限期地作為服務(wù)運(yùn)行，當(dāng)遇到大量請求時(shí)，它會消耗大量能量?？紤]一下用于辦公樓安全性的面部識別應(yīng)用程序。它會連續(xù)運(yùn)行，但會在人們上班和上班時(shí)在8:00 am和5:00 pm再次占用計(jì)算和存儲資源。

但是，很難掌握AI中的功耗。能耗不是作業(yè)計(jì)劃程序跟蹤的標(biāo)準(zhǔn)指標(biāo)的一部分，雖然可以設(shè)置，但它很復(fù)雜且依賴于供應(yīng)商。這意味著，大多數(shù)用戶在能源使用方面都是“盲目”。

為了制定AI能源需求，Miro Hodak博士領(lǐng)導(dǎo)了一個(gè)由Lenovo工程師和研究人員組成的團(tuán)隊(duì)，研究了經(jīng)常使用的AI工作負(fù)載的能源成本。數(shù)據(jù)中心硬件深度學(xué)習(xí)中的功率效率研究，(需要注冊)最近在2019 IEEE國際大數(shù)據(jù)會議上發(fā)表，并在會議記錄中發(fā)表。這項(xiàng)工作著眼于在配備4個(gè)Nvidia V100 GPU的Lenovo ThinkSystem SR670服務(wù)器上使用ImageNet數(shù)據(jù)集(包含130萬張圖像)訓(xùn)練ResNet50神經(jīng)網(wǎng)絡(luò)的能源成本。服務(wù)器電源的AC數(shù)據(jù)表明，完全訓(xùn)練此AI模型需要6.3 kWh的能量，足以為一個(gè)普通家庭供電6個(gè)小時(shí)。在實(shí)踐中，類似的訓(xùn)練會重復(fù)多次以調(diào)整生成的模型，從而導(dǎo)致能源成本實(shí)際上高出幾倍。

該研究將總能量分解成其各個(gè)分量，如圖1所示。正如預(yù)期的那樣，GPU消耗了大部分能量。但是，考慮到GPU可以處理所有計(jì)算密集型部分，因此65%的能量份額低于預(yù)期。這表明僅使用GPU功率對AI能源成本的簡單估算是不準(zhǔn)確的，并且錯(cuò)過了系統(tǒng)其余部分的重大貢獻(xiàn)。除GPU外，CPU和內(nèi)存占能源使用量的近四分之一，而9%的能量用于交流到直流電源轉(zhuǎn)換(這在SR670 PSU的80 PLUS白金認(rèn)證范圍內(nèi))。