微軟的ZeRO-2與深度速度訓(xùn)練神經(jīng)網(wǎng)絡(luò)高達1700億個參數(shù)

微軟今天升級了它的DeepSpeed庫，用ZeRO-2訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。微軟表示，內(nèi)存優(yōu)化技術(shù)能夠訓(xùn)練1700億個參數(shù)的機器學(xué)習(xí)模型。就背景而言，英偉達龐大的威震天語言模型是當(dāng)今世界上最大的語言模型之一，擁有110億個參數(shù)。

今天的聲明是在DeepSpeed庫2月份的開源發(fā)布之后發(fā)布的，該庫用于創(chuàng)建Turing-NLG。Turing-NLG擁有170億個參數(shù)，是目前世界上已知的最大的語言模型。微軟在2月份推出了零冗余優(yōu)化器(Zero)和DeepSpeed。

ZeRO通過減少數(shù)據(jù)并行中的內(nèi)存冗余來實現(xiàn)其結(jié)果，這是另一種將大型模型放入內(nèi)存的技術(shù)。ZeRO-1包含一些模型狀態(tài)內(nèi)存優(yōu)化，而ZeRO-2提供了激活內(nèi)存和片段內(nèi)存的優(yōu)化。

DeepSpeed是為跨多臺服務(wù)器的分布式模型訓(xùn)練而設(shè)計的，但ZeRO-2也在單GPU上對訓(xùn)練模型進行了改進，據(jù)報道，訓(xùn)練模型如谷歌的BERT提高了30%。

更多細節(jié)將在周三由微軟首席技術(shù)官凱文·斯科特(Kevin Scott)發(fā)表的主題演講中宣布。

這一消息是在微軟全數(shù)字構(gòu)建開發(fā)者大會開幕之際發(fā)布的，會上宣布了多項人工智能開發(fā)成果，包括用于機器學(xué)習(xí)中的差異隱私的WhiteNoise工具包，以及用于人工智能工業(yè)應(yīng)用的盆栽項目。

上周，英偉達CEO黃延森發(fā)布了Ampere GPU架構(gòu)和A100 GPU。新的GPU芯片——以及多模態(tài)模型和大規(guī)模推薦系統(tǒng)等趨勢——將在未來幾年引領(lǐng)更大的機器學(xué)習(xí)模型。