大數(shù)據(jù)是當(dāng)今信息繁重世界中最有前途但最具挑戰(zhàn)性的方面之一

為了解決大數(shù)據(jù)科學(xué)中的一個(gè)主要障礙，KAUST研究人員創(chuàng)建了一個(gè)框架，用于搜索在不同計(jì)算體系結(jié)構(gòu)上輕松運(yùn)行的大型數(shù)據(jù)集。他們的成就使研究人員能夠?qū)Ｗ⒂谕七M(jìn)搜索引擎或查詢(xún)引擎本身，而不是精心編寫(xiě)特定的計(jì)算平臺(tái)。

大數(shù)據(jù)是當(dāng)今信息繁重世界中最有前途但最具挑戰(zhàn)性的方面之一。雖然巨大且不斷擴(kuò)展的信息集(如在線(xiàn)收集的數(shù)據(jù)或遺傳信息)可以為科學(xué)和人類(lèi)提供強(qiáng)有力的見(jiàn)解，但處理和查詢(xún)所有這些數(shù)據(jù)需要高度復(fù)雜的技術(shù)。

已經(jīng)探索了許多不同的查詢(xún)大數(shù)據(jù)的方法。但是最強(qiáng)大和計(jì)算效率之一是基于使用主題 - 謂詞 - 對(duì)象三元組結(jié)構(gòu)分析數(shù)據(jù)(例如，apple，是a，fruit)。這種結(jié)構(gòu)有助于將其視為具有邊和頂點(diǎn)的圖形，并且該特性已被用于為特定計(jì)算體系結(jié)構(gòu)編碼查詢(xún)引擎以獲得最大效率。但是，這種特定于體系結(jié)構(gòu)的方法無(wú)法輕松移植到不同的平臺(tái)，從而限制了分析創(chuàng)新和進(jìn)步的機(jī)會(huì)。

“現(xiàn)代計(jì)算系統(tǒng)提供多樣化的平臺(tái)和加速器，對(duì)它們進(jìn)行編程可能會(huì)令人生畏和耗時(shí)，”Fuad Jamour和Yanzhao Chen博士說(shuō)。KAUST極端計(jì)算研究中心Panos Kalnis小組的候選人。“我們的研究小組專(zhuān)注于構(gòu)建用于處理和分析非常大的數(shù)據(jù)集的系統(tǒng)和算法。這項(xiàng)研究解決了編寫(xiě)程序一次然后在不同平臺(tái)上使用它的愿望。”

該組不是使用先前使用的圖遍歷或窮舉關(guān)系索引方法，而是使用稱(chēng)為稀疏矩陣代數(shù)的應(yīng)用數(shù)學(xué)方法來(lái)查詢(xún)?nèi)M數(shù)據(jù)。

“我們的論文描述了第一個(gè)以矩陣代數(shù)為核心的研究圖形查詢(xún)引擎，以解決可移植性問(wèn)題，”Jamour說(shuō)。“大多數(shù)現(xiàn)有的圖形查詢(xún)引擎都是針對(duì)單個(gè)計(jì)算機(jī)或小型分布式內(nèi)存系統(tǒng)而設(shè)計(jì)的。將現(xiàn)有引擎移植到大型分布式內(nèi)存系統(tǒng)(如超級(jí)計(jì)算機(jī))需要大量的工程工作。我們的稀疏矩陣代數(shù)方案可用于構(gòu)建可擴(kuò)展的，便攜和高效的圖形查詢(xún)引擎。“

該團(tuán)隊(duì)在大型真實(shí)和合成數(shù)據(jù)集上的實(shí)驗(yàn)實(shí)現(xiàn)了與現(xiàn)有的復(fù)雜查詢(xún)專(zhuān)用方法相當(dāng)或更好的性能。他們的計(jì)劃還具有擴(kuò)展到處理高達(dá)512億三元組數(shù)據(jù)集的超大型計(jì)算基礎(chǔ)架構(gòu)的能力。

“這些想法可以促進(jìn)圖形數(shù)據(jù)庫(kù)中的分析組件的構(gòu)建，具有尖端的性能，目前需求量很大，”Chen說(shuō)。