Nvidia推出具有高達20倍AI性能的Ampere GPU

Nvidia的第一款基于Ampere的圖形卡A100 GPU在826mm 2 的硅上封裝了540億個晶體管，成為世界上最大的7納米芯片。今天，在Nvidia首席執(zhí)行長黃仁勛(Jensen Huang)的預先錄制的“廚房主題演講”中推出了Ampere架構，該架構沿襲了前輩Volta的腳步，一個巨型GPU開啟了晶體管，AI專業(yè)化和整體性能的表盤。12nm Volta和7nm Ampere均由臺積電制造。

加上TensorFloat-32(TF32)張量核心，峰值單精度性能比哥哥的Volta(V100)理論上提高了10-20倍。HPC工作負載受益于峰值雙精度浮點性能提高250%，這歸功于用于HPC處理的新的符合IEEE的張量核心指令。

其他新功能包括：

•多實例GPU(又稱MIG)，可將單個A100 GPU劃分為多達七個獨立的GPU。

•第三代Nvidia NVLink結構，將GPU之間的高速連接性提高了一倍。

•結構稀疏性，它在Tensor核心中引入了對稀疏矩陣運算的支持，并將其加速了兩倍。

Ampere將Nvidia的單一通用GPU策略加倍，該策略是由支持HPC，AI和圖形的Volta架構引入的。“在[使用Ampere A100]時，無需擁有一堆Volta GPU服務器，一堆T4 GPU服務器和CPU服務器，所有這些現在都可以在一個統(tǒng)一的Ampere服務器上運行，”黃在為昨天的媒體。

Huang補充說：“毫無疑問，這是我們首次將整個數據中心的加速工作負載整合到一個平臺中。” “您知道，從視頻分析到圖像處理再到語音再到訓練再到推理的一切，數據處理現在是一臺統(tǒng)一服務器。”

Huang在這里指的是今天也推出的新型DGX機器。DGX A100由八個A100 GPU供電，它們一起提供320GB的內存和每秒12.4TB的帶寬。六個具有第三代NVLink結構的NVSwitch連接GPU，每秒提供4.8TB的雙向帶寬。每個DGX 100系統(tǒng)都提供9個Mellanox ConnectX-6 200Gb / s網絡接口和15TB Gen4 NVMe存儲。

對于第三代“ DGX”，英偉達做出了另一項改變，只有昨天的簡報或其他新聞材料沒有強調。最新的DGX取代了兩個Broadwell Intel Xeon，而是配備了兩個64核AMD Epyc Rome CPU。此舉可能預示著英偉達(Nvidia)會推遲英特爾正在涌現的GPU業(yè)務，或者可能是受AMD的性價比故事激勵。

現在還可以選擇Arm CPU選項，并且圍繞GPU加速的Arm正在進行大量的開發(fā)活動，因此看到第四代DGX中的另一次CPU升級也就不足為奇了。Nvidia可以選擇Marvell或Ampere(hmm)的Arm服務器芯片，也可以決定采用全孔技術，并將內部開發(fā)的Arm CPU添加到其不斷增長的堆棧中。

說到Nvidia的堆棧-四年前通過宣布(現已完成)收購Mellanox引入DGX-1，Nvidia避開了系統(tǒng)制造商的稱號，意識到與OEM合作伙伴的潛在沖突。這種不情愿似乎已經減少。

Nvdia數據中心和云平臺產品管理總監(jiān)Paresh Kharya在同一場媒體發(fā)布會上表示：“我們開發(fā)了垂直完全集成的系統(tǒng)，以開拓計算機的新外形。” “我們也打開了整個系統(tǒng)，并將它們變成了基本的組成部分。因此，我們的生態(tài)系統(tǒng)，整個行業(yè)都可以購買，甚至整個都可以買到。”他繼續(xù)說道，并引用了由合作伙伴云服務提供商和服務器制造商支持的HGX A100設計。

Huang隨后補充說：“ Nvidia確實是一家數據中心規(guī)模的計算公司。30年前我們曾經是一家PC公司，然后我們成為了工作站公司，然后又成為了服務器公司，最終我們進入了數據中心。但是計算的未來：數據中心是計算單元。計算的未來確實是數據中心規(guī)模。應用程序將同時在整個數據中心中運行。”

英偉達還宣布創(chuàng)建DGX A100 Superpod，該產品跨越140個DGX A100系統(tǒng)(1,120個GPU)，170個Mellanox Quantum 200G IB交換機，280 TB / s的網絡結構(超過15公里的光纜)和4個全閃存聯(lián)網的petabyes存儲。Nvidia表示，整個系統(tǒng)提供了近22 petaflops的峰值雙精度性能(700 petaflops的“ AI計算”)，并在不到三周的時間內建成。

Nvidia已在其內部超級計算機Saturn-V中添加了四個Superpods，從而將其“ AI超級計算”總容量提高到近5 exaflops，Nvidia稱這使Saturn-V成為世界上最快的AI超級計算機。所有這些GPU的總雙精度容量達到了約93個峰值petaflops，但Jensen澄清說Saturn-V并不是真正的一個系統(tǒng)。它位于一個管理界面下的四個不同位置。Nvidia將該系統(tǒng)用于與計算機圖形學，機器人技術，自動駕駛汽車，醫(yī)療保健及其新推薦系統(tǒng)Merlin有關的軟件開發(fā)。

DGX A100的價格為199,000美元，現已開始發(fā)售。第一份訂單送給了能源部的阿貢實驗室，該實驗室正在使用該集群進行AI和計算，以更好地理解和對抗。HPC研究社區(qū)的其他早期采用者包括印第安納大學，朱利希超級計算中心，卡爾斯魯厄技術學院，馬克斯·普朗克計算和數據設施以及能源部伯克利實驗室的NERSC。Huang說：“如果我們是一家數據中心規(guī)模的公司，以數據中心規(guī)模開發(fā)芯片，系統(tǒng)和軟件，那是我們應該自己構建它的理由。”

有強大的合作伙伴支持。有望集成A100的云服務提供商和系統(tǒng)構建商的名單包括阿里云，亞馬遜網絡服務(AWS)，Atos，百度云，思科，戴爾技術，富士通，技嘉科技，谷歌云，H3C，惠普企業(yè)，浪潮，聯(lián)想，Microsoft Azure，Oracle，Quanta / QCT，Supermicro和騰訊云。

HGX A100參考設計是DGX A100的骨干，具有四GPU和八GPU配置。四個GPU的HGX A100提供了具有NVLink的GPU之間的完全互連，而八個GPU的版本通過NVSwitch提供了完整的GPU到GPU帶寬。w ^ 第i個新的多實例GPU(MIG)架構，安培服務器，因為我們聽到黃打電話給他們，可配置為56個小GPU來推理或八個GPU的培訓或HPC工作負載一起工作。