Cerebras 揭示了 Andromeda 一個(gè) 1350 萬(wàn)核心的 AI 超級(jí)計(jì)算機(jī)

制造世界上最大的芯片Wafer Scale Engine 2 (WSE-2)的公司 Cerebras 今天公布了其仙女座超級(jí)計(jì)算機(jī)。Andromeda 將 16 個(gè)晶圓大小的 WSE-2 芯片組合到一個(gè)集群中，該集群具有 1350 萬(wàn)個(gè) AI 優(yōu)化內(nèi)核，該公司稱這些內(nèi)核可提供高達(dá) 1 Exaflop 的 AI 計(jì)算馬力，或 120 Petaflops 的 16 位半精度。

這些芯片安裝在 16 個(gè) CS-2 系統(tǒng)中。每個(gè)芯片為 AI 內(nèi)核提供高達(dá) 12.1 TB/s 的內(nèi)部帶寬(96.8 Terabits)，但數(shù)據(jù)通過分布在 16 個(gè)機(jī)架中的 124 個(gè)服務(wù)器節(jié)點(diǎn)上的 100 GbE 網(wǎng)絡(luò)傳送到 CS-2 處理器。這些服務(wù)器總共由 284 個(gè)第三代 EPYC Milan 處理器提供支持，每個(gè)處理器擁有 64 個(gè)內(nèi)核，總計(jì) 18,176 個(gè)內(nèi)核。

整個(gè)系統(tǒng)消耗 500 KW，這比具有可比性的 GPU 加速超級(jí)計(jì)算機(jī)要低得多。然而，在這種大規(guī)模并行的超級(jí)計(jì)算機(jī)上擴(kuò)展工作負(fù)載一直是主要的阻礙因素之一——在某些時(shí)候，擴(kuò)展往往會(huì)崩潰，因此添加更多硬件會(huì)導(dǎo)致回報(bào)點(diǎn)迅速減少。

然而，Cerebras 表示，它的實(shí)現(xiàn)與 GPT 類大型語(yǔ)言模型(如 GPT-3、GPT-J 和 GPT-NeoX)幾乎呈線性擴(kuò)展。Andromeda 還可以處理標(biāo)準(zhǔn) GPU 集群由于內(nèi)存限制而無法處理的 25 億和 250 億參數(shù)模型。