2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082 備案號:閩ICP備19027007號-6
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
為了解決大數(shù)據(jù)科學(xué)中的一個主要障礙,KAUST研究人員創(chuàng)建了一個框架,用于搜索在不同計算體系結(jié)構(gòu)上輕松運行的大型數(shù)據(jù)集。他們的成就使研究人員能夠?qū)W⒂谕七M搜索引擎或查詢引擎本身,而不是精心編寫特定的計算平臺。
大數(shù)據(jù)是當(dāng)今信息繁重世界中最有前途但最具挑戰(zhàn)性的方面之一。雖然巨大且不斷擴展的信息集(如在線收集的數(shù)據(jù)或遺傳信息)可以為科學(xué)和人類提供強有力的見解,但處理和查詢所有這些數(shù)據(jù)需要高度復(fù)雜的技術(shù)。
已經(jīng)探索了許多不同的查詢大數(shù)據(jù)的方法。但是最強大和計算效率之一是基于使用主題 - 謂詞 - 對象三元組結(jié)構(gòu)分析數(shù)據(jù)(例如,apple,是a,fruit)。這種結(jié)構(gòu)有助于將其視為具有邊和頂點的圖形,并且該特性已被用于為特定計算體系結(jié)構(gòu)編碼查詢引擎以獲得最大效率。但是,這種特定于體系結(jié)構(gòu)的方法無法輕松移植到不同的平臺,從而限制了分析創(chuàng)新和進步的機會。
“現(xiàn)代計算系統(tǒng)提供多樣化的平臺和加速器,對它們進行編程可能會令人生畏和耗時,”Fuad Jamour和Yanzhao Chen博士說。KAUST極端計算研究中心Panos Kalnis小組的候選人。“我們的研究小組專注于構(gòu)建用于處理和分析非常大的數(shù)據(jù)集的系統(tǒng)和算法。這項研究解決了編寫程序一次然后在不同平臺上使用它的愿望。”
該組不是使用先前使用的圖遍歷或窮舉關(guān)系索引方法,而是使用稱為稀疏矩陣代數(shù)的應(yīng)用數(shù)學(xué)方法來查詢?nèi)M數(shù)據(jù)。
“我們的論文描述了第一個以矩陣代數(shù)為核心的研究圖形查詢引擎,以解決可移植性問題,”Jamour說。“大多數(shù)現(xiàn)有的圖形查詢引擎都是針對單個計算機或小型分布式內(nèi)存系統(tǒng)而設(shè)計的。將現(xiàn)有引擎移植到大型分布式內(nèi)存系統(tǒng)(如超級計算機)需要大量的工程工作。我們的稀疏矩陣代數(shù)方案可用于構(gòu)建可擴展的,便攜和高效的圖形查詢引擎。“
該團隊在大型真實和合成數(shù)據(jù)集上的實驗實現(xiàn)了與現(xiàn)有的復(fù)雜查詢專用方法相當(dāng)或更好的性能。他們的計劃還具有擴展到處理高達512億三元組數(shù)據(jù)集的超大型計算基礎(chǔ)架構(gòu)的能力。
“這些想法可以促進圖形數(shù)據(jù)庫中的分析組件的構(gòu)建,具有尖端的性能,目前需求量很大,”Chen說。
2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082 備案號:閩ICP備19027007號-6
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。