WekaIO推出Weka AI以實(shí)現(xiàn)從邊緣到核心的加速邊緣到云數(shù)據(jù)管道

人工智能(AI)數(shù)據(jù)管道與傳統(tǒng)的基于文件的IO應(yīng)用程序本質(zhì)上不同。AI數(shù)據(jù)流水線中的每個(gè)階段都有不同的存儲(chǔ)IO要求：用于攝取和訓(xùn)練的大量帶寬，用于提取，轉(zhuǎn)換，加載(ETL)的混合讀/寫處理，用于推理的超低延遲以及用于整個(gè)數(shù)據(jù)流水線可見性的單個(gè)名稱空間。此外，邊緣的AI推動(dòng)了對(duì)邊緣到核心到云數(shù)據(jù)管道的需求。因此，解決方案必須滿足所有這些不同的要求，并及時(shí)提供大規(guī)模的見解。傳統(tǒng)解決方案缺乏這些功能，并且常常無法滿足性能，跨角色共享性和數(shù)據(jù)移動(dòng)性要求。行業(yè)需要解決方案來克服這些挑戰(zhàn)，它們需要AI時(shí)代的數(shù)據(jù)管理，

Weka AI是一個(gè)框架，結(jié)合了多種技術(shù)合作伙伴關(guān)系，旨在通過解決與AI等IO密集型工作負(fù)載共同的存儲(chǔ)挑戰(zhàn)，并提供可用于生產(chǎn)的解決方案來加速DataOps。它利用WekaFS來加速AI數(shù)據(jù)管道，為單個(gè)GPU客戶端提供超過73 GB /秒的帶寬。此外，它還具有版本控制，可解釋性和可重復(fù)性的操作敏捷性，并通過在線加密和數(shù)據(jù)保護(hù)提供治理和合規(guī)性。與WIN計(jì)劃中的合作伙伴一起設(shè)計(jì)的解決方案可確保Weka AI將為整個(gè)數(shù)據(jù)管道提供數(shù)據(jù)收集，工作區(qū)和深度神經(jīng)網(wǎng)絡(luò)(DNN)培訓(xùn)，模擬，推理和生命周期管理。

引用語錄

企鵝計(jì)算高級(jí)解決方案集團(tuán)技術(shù)和業(yè)務(wù)開發(fā)高級(jí)總監(jiān)Kevin Tubbs

“ Weka AI提供了滿足現(xiàn)代AI應(yīng)用程序要求的解決方案。我們很高興與Weka合作，加速下一代AI數(shù)據(jù)管道。”

Groupware數(shù)據(jù)和AI總監(jiān)Amrinderpal Singh Oberai

“ Groupware數(shù)據(jù)和AI團(tuán)隊(duì)已經(jīng)在內(nèi)部測(cè)試并驗(yàn)證了Weka AI參考架構(gòu)。Weka AI框架為我們提供了靈活性和技術(shù)創(chuàng)新，可以與其他ISV技術(shù)合作伙伴一起構(gòu)建定制解決方案，以通過AI解決行業(yè)挑戰(zhàn)。”

NVIDIA加速計(jì)算產(chǎn)品管理總監(jiān)Paresh Kharya

“用于AI的端到端應(yīng)用程序性能需要為高性能NVIDIA GPU提供高吞吐量的數(shù)據(jù)管道。Weka AI利用GPUDirect存儲(chǔ)在存儲(chǔ)和GPU之間提供直接路徑，從而消除了數(shù)據(jù)密集型AI應(yīng)用程序的I / O瓶頸。”

Mellanox Technologies市場(chǎng)部高級(jí)副總裁Gilad Shainer說：

“ InfiniBand已成為高性能和可擴(kuò)展AI基礎(chǔ)架構(gòu)的事實(shí)上的標(biāo)準(zhǔn)，可在整個(gè)網(wǎng)絡(luò)和網(wǎng)絡(luò)計(jì)算加速引擎中提供高數(shù)據(jù)。通過InfiniBand上的GPUDirect和GPUDirect存儲(chǔ)以及Weka AI框架，為我們共同的客戶提供了世界領(lǐng)先的AI應(yīng)用程序平臺(tái)。”