研究人員為高性能計(jì)算創(chuàng)建了第一個(gè)可組合的可組合存儲(chǔ)平臺(tái)

大規(guī)模，先進(jìn)的高性能計(jì)算(通常稱為超級(jí)計(jì)算)對(duì)于解決復(fù)雜和大問(wèn)題至關(guān)重要。

從回答關(guān)于宇宙起源的形而上學(xué)詢問(wèn)到發(fā)現(xiàn)抗癌藥物到支持高速流媒體服務(wù)，一切都需要處理大量數(shù)據(jù)。

但是，對(duì)于這些高級(jí)計(jì)算機(jī)系統(tǒng)而言必不可少的存儲(chǔ)平臺(tái)一直處于僵硬的框架中，需要用戶在功能定制或高可用性之間進(jìn)行選擇。

現(xiàn)在，弗吉尼亞理工大學(xué)的研究人員已經(jīng)找到了一種方法，可以讓高性能計(jì)算(HPC)數(shù)據(jù)系統(tǒng)通過(guò)名為BespoKV的首個(gè)框架靈活地發(fā)展，也許有助于有朝一日實(shí)現(xiàn)HPC的目標(biāo)。 exascale，或每秒10億次計(jì)算。

研究人員將于11月13日在德克薩斯州達(dá)拉斯舉行的計(jì)算機(jī)協(xié)會(huì)/ IEEE超級(jí)計(jì)算會(huì)議上發(fā)表他們的研究結(jié)果。

新平臺(tái)運(yùn)行的主要因素是關(guān)鍵價(jià)值(KV)系統(tǒng)。KV系統(tǒng)存儲(chǔ)和檢索來(lái)自非?？焖俚幕趦?nèi)存的存儲(chǔ)而不是較慢的磁盤的重要數(shù)據(jù)。這些系統(tǒng)越來(lái)越多地用于當(dāng)今使用分布式系統(tǒng)的高性能應(yīng)用程序，這些應(yīng)用程序由許多計(jì)算機(jī)組成以解決問(wèn)題。高性能計(jì)算依賴于計(jì)算機(jī)以前所未有的速度接收，處理和分析大量數(shù)據(jù)。目前，最好的系統(tǒng)每秒運(yùn)行千萬(wàn)億次計(jì)算或千萬(wàn)億次計(jì)算。

這項(xiàng)研究與處理大量數(shù)據(jù)的行業(yè)有關(guān)，無(wú)論是空間占用，電影流媒體網(wǎng)站的強(qiáng)烈視覺(jué)圖形; 大型信用卡公司的數(shù)百萬(wàn)金融交易; 或社交媒體上的用戶生成內(nèi)容。想想像Facebook這樣的大型媒體網(wǎng)站，其內(nèi)容不斷變換和不斷訪問(wèn)。當(dāng)用戶將內(nèi)容上載到其個(gè)人資料頁(yè)面時(shí)，該信息駐留在多個(gè)服務(wù)器上。

但是，如果您必須不斷訪問(wèn)某些內(nèi)容，KV系統(tǒng)作為存儲(chǔ)介質(zhì)可以更加高效，因?yàn)閮?nèi)容從附近的內(nèi)存存儲(chǔ)器加載，而不是遠(yuǎn)處的存儲(chǔ)服務(wù)器。這允許系統(tǒng)在完成任務(wù)或請(qǐng)求時(shí)提供非常高的性能。

“我對(duì)關(guān)鍵價(jià)值系統(tǒng)感興趣，因?yàn)檫@個(gè)非?；A(chǔ)和簡(jiǎn)單的存儲(chǔ)平臺(tái)尚未在高性能計(jì)算系統(tǒng)中被利用，它可以提供很多好處，”報(bào)告的第一作者Ali Anwar說(shuō)道。弗吉尼亞理工大學(xué)畢業(yè)生，目前在IBM Research工作。“BespoKV是一個(gè)新穎的框架，可以使HPC系統(tǒng)提供很多靈活性和性能，而不是被束縛在嚴(yán)格的存儲(chǔ)設(shè)計(jì)上。”

BespoKV的主要?jiǎng)?chuàng)新之處在于它支持組合一系列具有理想功能的KV商店。它的工作原理是采用一個(gè)名為datalet的單服務(wù)器KV存儲(chǔ)，并支持即時(shí)和即用的分布式KV存儲(chǔ)。現(xiàn)在，開(kāi)發(fā)人員可以將數(shù)據(jù)集放入BespoKV并將分布式系統(tǒng)的“混亂管道”卸載到框架，而不是從頭開(kāi)始重新設(shè)計(jì)系統(tǒng)來(lái)完成特定任務(wù)。BespoKV將KV 存儲(chǔ)設(shè)計(jì)解耦到用于分布式管理的控制平面和用于本地?cái)?shù)據(jù)存儲(chǔ)的數(shù)據(jù)平面。

該框架還為企業(yè)和機(jī)構(gòu)尚未預(yù)見(jiàn)的工作負(fù)載提供新的HPC服務(wù)。

當(dāng)前最先進(jìn)的KV商店的主要限制效果之一是它們?cè)谠O(shè)計(jì)時(shí)考慮了預(yù)先存在的分布式服務(wù)，并且通常專門用于特定設(shè)置。另一個(gè)限制因素是不靈活的單片設(shè)計(jì)，其中分布式功能深入烘焙到具有后端數(shù)據(jù)存儲(chǔ)的系統(tǒng)中，后端數(shù)據(jù)存儲(chǔ)執(zhí)行管理庫(kù)存，訂單和供應(yīng)等操作。這些KV存儲(chǔ)的嚴(yán)格設(shè)計(jì)不能適應(yīng)不斷變化的用戶對(duì)無(wú)數(shù)后端，拓?fù)?，一致性和許多其他服務(wù)的需求。

計(jì)算機(jī)科學(xué)教授阿里巴特說(shuō)：“大公司的開(kāi)發(fā)人員可以真正投入到使用BespoKV設(shè)計(jì)創(chuàng)新HPC存儲(chǔ)系統(tǒng)的過(guò)程中。” “數(shù)據(jù)訪問(wèn)性能是HPC存儲(chǔ)系統(tǒng)的主要限制，通常采用混合解決方案來(lái)提供靈活性和性能，這很麻煩。我們已經(jīng)創(chuàng)建了一種方法來(lái)顯著加快系統(tǒng)行為，以符合所需的性能，一致性，和可靠性水平。“

BespoKV可以靈活，因?yàn)樗试S所需服務(wù)和可用組件之間的任意映射，同時(shí)支持分布式管理服務(wù)以實(shí)現(xiàn)和啟用與數(shù)據(jù)集相關(guān)聯(lián)的分布式KV存儲(chǔ)。

“現(xiàn)在我們已經(jīng)證明我們可以在強(qiáng)大的HPC系統(tǒng)中使用KV系統(tǒng)進(jìn)行高效而簡(jiǎn)單的操作，客戶不必在可擴(kuò)展性和靈活性之間做出選擇，”Butt說(shuō)。