為什么對(duì)象存儲(chǔ)對(duì)于AI和機(jī)器學(xué)習(xí)工作量而言可能是最佳的

如果說(shuō)IT是電視節(jié)目，那將是“ Ho積者”。組織每天都在創(chuàng)建和存儲(chǔ)越來(lái)越多的數(shù)據(jù)，并且他們很難找到有效的方式來(lái)放置所有數(shù)據(jù)。

實(shí)際上，根據(jù)IDC的研究，到2020年，我們將達(dá)到44 ZB的標(biāo)記，其中大約80%的數(shù)據(jù)不在數(shù)據(jù)庫(kù)中。隨著如此空前的數(shù)據(jù)增長(zhǎng)，IT團(tuán)隊(duì)正在尋找靈活，可擴(kuò)展，易于管理的方式來(lái)保存和保護(hù)數(shù)據(jù)。這是對(duì)象存儲(chǔ)大放異彩的地方。

對(duì)象存儲(chǔ)(也稱(chēng)為基于對(duì)象的存儲(chǔ))是一種將數(shù)據(jù)作為對(duì)象進(jìn)行管理的存儲(chǔ)體系結(jié)構(gòu)，與其他存儲(chǔ)體系結(jié)構(gòu)(例如，將文件作為文件層次結(jié)構(gòu)管理數(shù)據(jù)的文件系統(tǒng)和將數(shù)據(jù)作為扇區(qū)內(nèi)的塊進(jìn)行管理的塊存儲(chǔ))相反和軌道。每個(gè)對(duì)象通常包括數(shù)據(jù)本身，可變數(shù)量的元數(shù)據(jù)和全局唯一標(biāo)識(shí)符。

專(zhuān)門(mén)(至少提供)對(duì)象存儲(chǔ)選項(xiàng)的公司包括Cloudian，Pure Storage，Digital Ocean，IBM / Cisco，Dell EMC Virtustream，Spectra Logic，SwiftStack，Qumulo，Minio，NetApp，Hitachi Data Systems，Cohesity和Veritas等其他。

Cloudian首席執(zhí)行官兼聯(lián)合創(chuàng)始人Michael Tso是一位非常了解市場(chǎng)的人，他向eWEEK提供了一些行業(yè)信息，確切地說(shuō)明了為什么他認(rèn)為對(duì)象存儲(chǔ)系統(tǒng)對(duì)于大數(shù)據(jù)類(lèi)型的工作負(fù)載(包括運(yùn)行機(jī)器學(xué)習(xí)和數(shù)據(jù)存儲(chǔ)的工作負(fù)載)最有效。人工智能用例-一直變得越來(lái)越普遍。

以下是這些數(shù)據(jù)集的八個(gè)特定存儲(chǔ)要求，以及AI和ML應(yīng)用程序?yàn)楹涡枰髽I(yè)對(duì)象存儲(chǔ)解決方案提供的數(shù)據(jù)管理功能的原因。

存儲(chǔ)要求1：可伸縮性

人工智能系統(tǒng)可以在短時(shí)間內(nèi)處理大量數(shù)據(jù)。此外，更大的數(shù)據(jù)集可提供更好的算法。這種組合帶來(lái)了巨大的存儲(chǔ)需求。微軟教會(huì)計(jì)算機(jī)使用五年的連續(xù)語(yǔ)音記錄來(lái)進(jìn)行語(yǔ)音交談。特斯拉正在教汽車(chē)以13億英里的行駛數(shù)據(jù)行駛。管理這些數(shù)據(jù)集需要一個(gè)可以無(wú)限擴(kuò)展的存儲(chǔ)系統(tǒng)。

對(duì)象存儲(chǔ)如何提供幫助：對(duì)象存儲(chǔ)是唯一在單個(gè)名稱(chēng)空間內(nèi)無(wú)限擴(kuò)展的存儲(chǔ)類(lèi)型。此外，模塊化設(shè)計(jì)允許隨時(shí)添加存儲(chǔ)，因此您可以根據(jù)需求進(jìn)行擴(kuò)展，而不是先于需求。

存儲(chǔ)要求2：成本效益

一個(gè)有用的存儲(chǔ)系統(tǒng)必須具有可擴(kuò)展性和可承受性，這兩個(gè)屬性在企業(yè)存儲(chǔ)中并不總是共存：從歷史上看，以成本/容量為基礎(chǔ)，高度可擴(kuò)展的系統(tǒng)更加昂貴。

對(duì)象存儲(chǔ)如何提供幫助：對(duì)象存儲(chǔ)建立在業(yè)界成本最低的硬件平臺(tái)上。加上低管理開(kāi)銷(xiāo)和節(jié)省空間的數(shù)據(jù)壓縮功能，結(jié)果是成本比傳統(tǒng)企業(yè)磁盤(pán)存儲(chǔ)低70%。

存儲(chǔ)要求3：軟件定義的存儲(chǔ)選項(xiàng)

龐大的數(shù)據(jù)集有時(shí)會(huì)需要具有專(zhuān)用服務(wù)器架構(gòu)的超大規(guī)模數(shù)據(jù)中心。其他配置可能會(huì)受益于預(yù)配置設(shè)備的簡(jiǎn)單性。

對(duì)象存儲(chǔ)的幫助方式：對(duì)象存儲(chǔ)使您可以選擇存儲(chǔ)設(shè)備或軟件定義的存儲(chǔ)，從而保持部署選項(xiàng)的打開(kāi)狀態(tài)。

存儲(chǔ)要求4：混合架構(gòu)

不同的數(shù)據(jù)類(lèi)型具有不同的性能要求，而硬件必須反映出來(lái)。系統(tǒng)必須包含正確的存儲(chǔ)技術(shù)組合，以滿(mǎn)足同時(shí)滿(mǎn)足的規(guī)模和性能需求，而不是一種同類(lèi)通用的方法。

對(duì)象存儲(chǔ)如何提供幫助：對(duì)象存儲(chǔ)采用混合架構(gòu)，其中旋轉(zhuǎn)磁盤(pán)用于存儲(chǔ)用戶(hù)數(shù)據(jù)，而SSD用于存儲(chǔ)對(duì)性能敏感的元數(shù)據(jù)，從而優(yōu)化了成本和性能。

存儲(chǔ)要求5：并行架構(gòu)

對(duì)于無(wú)限制增長(zhǎng)的數(shù)據(jù)集，并行訪(fǎng)問(wèn)體系結(jié)構(gòu)至關(guān)重要。否則，系統(tǒng)將產(chǎn)生限制增長(zhǎng)的瓶頸。

對(duì)象存儲(chǔ)如何提供幫助：對(duì)象存儲(chǔ)采用無(wú)共享群集架構(gòu)，這意味著系統(tǒng)的所有部分都可以并行工作。隨著系統(tǒng)擴(kuò)展，數(shù)據(jù)吞吐量不斷增長(zhǎng)。

存儲(chǔ)要求6：數(shù)據(jù)持久性

備份多PB訓(xùn)練數(shù)據(jù)集是不可行的;這通常是成本和時(shí)間的限制。但是，您也不能不加保護(hù)。相反，存儲(chǔ)系統(tǒng)需要自我保護(hù)。

對(duì)象存儲(chǔ)的幫助方式：對(duì)象存儲(chǔ)具有內(nèi)置的冗余設(shè)計(jì)，因此無(wú)需單獨(dú)的備份過(guò)程即可保護(hù)數(shù)據(jù)。此外，您可以選擇每種數(shù)據(jù)類(lèi)型所需的數(shù)據(jù)保護(hù)級(jí)別，以?xún)?yōu)化效率。系統(tǒng)可以配置為容忍多個(gè)節(jié)點(diǎn)故障，甚至可以容忍整個(gè)數(shù)據(jù)中心的丟失。

存儲(chǔ)要求7：數(shù)據(jù)局部性

盡管某些培訓(xùn)數(shù)據(jù)將駐留在云中，但出于多種原因，大部分培訓(xùn)數(shù)據(jù)仍將保留在數(shù)據(jù)中心中：性能，成本和法規(guī)遵從性是其中三個(gè)。為了具有競(jìng)爭(zhēng)力，本地存儲(chǔ)必須提供與基于云的同類(lèi)存儲(chǔ)相同的成本和可伸縮性?xún)?yōu)勢(shì)。

對(duì)象存儲(chǔ)如何提供幫助：對(duì)象存儲(chǔ)是云的存儲(chǔ)。許多云提供商將其用作公共云基礎(chǔ)結(jié)構(gòu)。云可擴(kuò)展性和經(jīng)濟(jì)性現(xiàn)在可以在本地使用。

存儲(chǔ)要求8：云集成

無(wú)論數(shù)據(jù)位于何處，由于兩個(gè)原因，云集成仍將是重要的要求。首先，許多AI / ML創(chuàng)新都發(fā)生在云中。與云集成的本地系統(tǒng)將為使用云原生工具提供最大的靈活性。其次，隨著信息的生成和分析，我們很可能會(huì)看到往返于云的數(shù)據(jù)流動(dòng)。本地解決方案應(yīng)該簡(jiǎn)化流程，而不是限制流程。

對(duì)象存儲(chǔ)如何提供幫助：對(duì)象存儲(chǔ)應(yīng)通過(guò)三種方式與云集成：首先，解決方案可以采用S3 API，這是事實(shí)上的云存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)言。其次，它們可以促進(jìn)與Amazon，Google和Microsoft公共云之間的分層，并允許您在單個(gè)命名空間中查看本地和基于云的數(shù)據(jù)。第三，應(yīng)該直接從基于云的應(yīng)用程序訪(fǎng)問(wèn)存儲(chǔ)到云的數(shù)據(jù)。這種雙模式訪(fǎng)問(wèn)使您可以交替使用云資源和本地資源。

要充分發(fā)揮AI / ML的潛力，就需要支持創(chuàng)新的基礎(chǔ)架構(gòu)。當(dāng)今的對(duì)象存儲(chǔ)解決方案應(yīng)提供可擴(kuò)展性，成本效率和互操作性，從而增強(qiáng)這些新興技術(shù)的功能。