您的位置: 首頁 >互聯(lián)網(wǎng) >

全新LPU芯片傳聞比GPU快十倍(關(guān)于LPU芯片的簡介)

2024-02-23 14:11:18 編輯:古歡進 來源:
導讀 近日一家名為Groq的初創(chuàng)公司研制的LPU芯片橫空出世,據(jù)消息稱這一芯片的推理速度比英偉達GPU提高10倍,成本卻只有其1/10,大模型生成速度接...

近日一家名為Groq的初創(chuàng)公司研制的LPU芯片橫空出世,據(jù)消息稱這一芯片的推理速度比英偉達GPU提高10倍,成本卻只有其1/10,大模型生成速度接近500tokens,比ChatGPT-3.540tokens/秒的速度高出十多倍。

1.LPU的突出特點就是快,2024年1月份的測試結(jié)果中,Groq LPU驅(qū)動的Meta Llama2模型推理性能比目前的頂級云計算供應商高出17倍,在數(shù)據(jù)吞吐量方面也“遙遙領(lǐng)先”。

2.據(jù)了解,Groq提供的芯片得到這樣的吞吐速度的原因是使用的SRAM設備,這是目前讀寫速度最快的存儲設備之一,但是價格較為昂貴,一般用在CPU的一級和二級緩沖當中。SRAM就是靜態(tài)隨機存取存儲器,目前人們常用的存儲設備中DRAM為動態(tài)隨機存取存儲器,兩者的區(qū)別在于存儲方式、集成度、訪問速度、刷新需求等的不同,SRAM訪問速度快,帶來的是占用面積和成本的增大。

3.LPU芯片現(xiàn)在落地仍然存在很多現(xiàn)實問題亟待解決,首先就是成本問題,雖然LPU芯片在價格和耗電量上占有優(yōu)勢,但是運行LLaMA2-70b這樣的模型需要572張LPU,成本高達1144萬美元,而8張英偉達H100在系統(tǒng)性能上與Groq相當,硬件成本僅為30萬美元,巨大的成本差異讓它目前不具備太多的商業(yè)價值。

4.Groq展現(xiàn)出來的是通用芯片和專用芯片在路徑上的分歧,它能為用戶提供讓人滿意的低延遲高速響應效果,但是它的場景搭建需要至少一個已經(jīng)構(gòu)造完成并且開源的大模型。

5.Groq創(chuàng)新的芯片架構(gòu)能把多個張量流處理器連接在一起,這種解決方案不會出現(xiàn)GPU集群當中出現(xiàn)的傳統(tǒng)瓶頸問題,具備較高的可擴展性,可以有效減少運行過程中的能源消耗,進一步簡化大規(guī)模AI模型對于硬件的要求。


免責聲明:本文由用戶上傳,如有侵權(quán)請聯(lián)系刪除!

最新文章

點擊排行

2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復制必究 聯(lián)系QQ   備案號:

本站除標明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。

郵箱:toplearningteam#gmail.com (請將#換成@)