Tapis計(jì)算平臺(tái)將科學(xué)計(jì)算工具編織在一起

希望降低研究難度并在工具帶中添加新的計(jì)算工具的科學(xué)家可以探索Tapis項(xiàng)目。Tapis軟件平臺(tái)旨在幫助研究人員更輕松地利用功能強(qiáng)大的超級(jí)計(jì)算機(jī)，并集成和管理來(lái)自不同遙遠(yuǎn)來(lái)源的數(shù)據(jù)。

科學(xué)基金會(huì)(NSF)向德克薩斯高級(jí)計(jì)算中心(TACC)和德克薩斯大學(xué)奧斯汀分校(UT Austin)授予了290萬(wàn)美元的資助，此外還向夏威夷大學(xué)(UH)提供了100萬(wàn)美元的獎(jiǎng)勵(lì)。NSF獎(jiǎng)項(xiàng)于2019年9月開(kāi)始，旨在支持Tapis的持續(xù)開(kāi)發(fā)，Tapis是TACC-API的縮寫(xiě)，從掛毯一詞開(kāi)始，將服務(wù)和功能融合在一起。一個(gè)應(yīng)用程序編程接口(API)是一個(gè)接口的軟件系統(tǒng)已建成或改造的另一個(gè)程序使用。

“ Tapis是用于計(jì)算科學(xué)和計(jì)算研究的研究計(jì)算平臺(tái)，”負(fù)責(zé)TACC的云計(jì)算和交互式計(jì)算小組的首席研究員(PI)喬·斯塔布斯說(shuō)。“ Tapis是一個(gè)軟件系統(tǒng)，可以幫助研究人員使用我們?cè)赥ACC和其他地方擁有的超級(jí)計(jì)算機(jī)和其他類(lèi)型的計(jì)算資源。”

“描述Tapis的最簡(jiǎn)單方法是，它是一個(gè)基于Web的應(yīng)用程序，它提供了現(xiàn)代科學(xué)家進(jìn)行數(shù)據(jù)密集型，計(jì)算密集型研究所需的所有工具，”大學(xué)網(wǎng)絡(luò)基礎(chǔ)設(shè)施主管Co-PI Gwen A. Jacobs說(shuō)。夏威夷系統(tǒng)。“ Tapis的與眾不同之處之一是，它將研究人員需要的所有重要工具編織在一起。這就是Tapis的真正力量。”

Tapis將在使用計(jì)算工具進(jìn)行研究的過(guò)程中為具有不同專(zhuān)業(yè)知識(shí)的各種用戶(hù)提供服務(wù)。擁有高端計(jì)算資源和編程經(jīng)驗(yàn)的“高級(jí)用戶(hù)”將是其中的一員。Tapis將幫助他們自動(dòng)化和簡(jiǎn)化大型的工作流程或軟件應(yīng)用程序管道。

在光譜的另一端，科學(xué)家才剛剛開(kāi)始探索將先進(jìn)計(jì)算應(yīng)用于他們的研究的可能性。Stubbs說(shuō)：“我們正在嘗試使用Tapis為他們做的事情，是在超級(jí)計(jì)算機(jī)上運(yùn)行計(jì)算程序的最簡(jiǎn)單方法。”

然后是中間一個(gè)小組，通常是大型軟件開(kāi)發(fā)項(xiàng)目，專(zhuān)注于特定的研究領(lǐng)域，例如免疫學(xué)，天文學(xué)或生物信息學(xué)。

Stubbs說(shuō)：“ Tapis的目標(biāo)是使研究人員能夠以更加用戶(hù)友好的方式訪(fǎng)問(wèn)這些計(jì)算資源。”

由NSF資助的計(jì)算資源被廣泛描述為網(wǎng)絡(luò)基礎(chǔ)設(shè)施，即研究人員共享的在線(xiàn)生態(tài)系統(tǒng)，由高級(jí)計(jì)算資源作為后盾，托管在數(shù)據(jù)中心中，并得到專(zhuān)家的支持。“那些網(wǎng)絡(luò)基礎(chǔ)設(shè)施項(xiàng)目的Web開(kāi)發(fā)人員團(tuán)隊(duì)和其他開(kāi)發(fā)人員可以利用Tapis更快地構(gòu)建其網(wǎng)絡(luò)基礎(chǔ)設(shè)施項(xiàng)目。”

為此，一個(gè)示例是TAPIS API框架對(duì)流傳感器數(shù)據(jù)的支持，其中在復(fù)雜的工作流程中，一個(gè)事件(例如，對(duì)傳感器陣列的檢測(cè))可能觸發(fā)另一個(gè)事件，依此類(lèi)推，甚至是多個(gè)分析例程。

雅各布斯解釋說(shuō)：“事件驅(qū)動(dòng)的計(jì)算意味著工作流并非一直在運(yùn)行。對(duì)于那些需要從傳感器和數(shù)據(jù)等來(lái)源獲取數(shù)據(jù)的科學(xué)家來(lái)說(shuō)，這是一個(gè)很棒的功能上傳。這意味著他們不必手動(dòng)運(yùn)行所有代碼。工作流建立之后，就可以進(jìn)行免提計(jì)算，從而實(shí)現(xiàn)免提分析。”

Tapis將整合由地球科學(xué)基金會(huì)(NSF)資助的EarthCube組成的地球科學(xué)(CHORDS)項(xiàng)目云托管實(shí)時(shí)數(shù)據(jù)服務(wù)，以實(shí)現(xiàn)事件驅(qū)動(dòng)的計(jì)算。

從某種意義上說(shuō)，應(yīng)用于科學(xué)的API允許不同的系統(tǒng)相互通信。Stubbs說(shuō)：“使用Tapis的想法是要有一個(gè)機(jī)器可讀和易用的接口來(lái)連接計(jì)算資源，例如超級(jí)計(jì)算機(jī)，還有高性能的存儲(chǔ)系統(tǒng)，例如我們的Corral存儲(chǔ)系統(tǒng)或我們的全局文件系統(tǒng)，Stockyard，以及我們希望擁有一個(gè)易于在其他程序中訪(fǎng)問(wèn)和操作的界面。”

Tapis將提供的另一個(gè)功能是新的安全內(nèi)核，其作用類(lèi)似于控制對(duì)系統(tǒng)資源的訪(fǎng)問(wèn)的門(mén)。Tapis安全內(nèi)核將被分散化，使科學(xué)家可以更輕松地站立自己的應(yīng)用程序并保留對(duì)機(jī)密數(shù)據(jù)的本地控制。

夏威夷大學(xué)網(wǎng)絡(luò)基礎(chǔ)設(shè)施研究科學(xué)家Co-PI Sean Cleveland說(shuō)：“新的安全內(nèi)核使我們能夠提供過(guò)去完成的所有托管安全性，身份驗(yàn)證和授權(quán)。”“但是它還將允許數(shù)據(jù)中心和機(jī)構(gòu)部署自己的安全內(nèi)核，以便他們可以使用自己的用戶(hù)憑據(jù)并以自己的方式管理自己的安全性，以及在其機(jī)構(gòu)中部署框架的各個(gè)組件，并且能夠利用一些集中的工作，這是一個(gè)使用科學(xué)即服務(wù)，平臺(tái)即服務(wù)的新型混合系統(tǒng)，但是如果您想要更多的控制和定制功能，則可以在現(xiàn)場(chǎng)部署較小的組件而且仍然能夠利用一些較大的托管組件來(lái)滿(mǎn)足不同的需求。”

Tapis將為用戶(hù)提供簡(jiǎn)化創(chuàng)建應(yīng)用程序的過(guò)程的能力，這是科學(xué)家的強(qiáng)大工具。雅各布斯說(shuō)：“如果您可以對(duì)工作流程進(jìn)行編程，并使該工作流程在Tapis這樣的平臺(tái)上運(yùn)行，則可以簡(jiǎn)化流程，因?yàn)樗薪M件都可以更輕松地相互交流。”“這意味著研究人員必須構(gòu)建一次該工作流程。然后，他們將該工作流程另存為T(mén)apis基礎(chǔ)架構(gòu)中的應(yīng)用程序并重復(fù)使用。”

保存軟件環(huán)境的所有參數(shù)也將使科學(xué)家能夠在以后再次返回并再次運(yùn)行數(shù)據(jù)分析，從而提高了科學(xué)可重復(fù)性。

Stubbs解釋說(shuō)：“這實(shí)際上是TACC與夏威夷大學(xué)之間的完整合作。”

TACC在高性能計(jì)算和構(gòu)建分布式軟件系統(tǒng)方面擁有廣泛的專(zhuān)業(yè)知識(shí)。盡管TACC的某些組件將在NSF資助的Jetstream云上運(yùn)行，但Tapis的組件本身可以在商品服務(wù)器或現(xiàn)成的服務(wù)器上運(yùn)行。

UH的團(tuán)隊(duì)成員正在為T(mén)apis系統(tǒng)的開(kāi)發(fā)，設(shè)計(jì)和體系結(jié)構(gòu)做出貢獻(xiàn)。更重要的是，它們?yōu)闅夂?，海洋，珊瑚礁，人?lèi)微生物組以及圍繞健康差異的人口研究等領(lǐng)域的夏威夷提供了大量重要的領(lǐng)域研究信息。

雅各布斯說(shuō)：“在夏威夷為我們提供Tapis項(xiàng)目，對(duì)于將先進(jìn)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施應(yīng)用到數(shù)據(jù)密集型科學(xué)中，是一個(gè)巨大的認(rèn)識(shí)提升。”“沒(méi)有這樣的項(xiàng)目，我們的許多研究人員可能不會(huì)意識(shí)到這些資源。”

研究人員正在努力的主要里程碑之一是在2020年夏季為早期采用者舉辦的年終研討會(huì)。“我們的想法是舉辦一次研討會(huì)，邀請(qǐng)研究人員參加，帶來(lái)他們的數(shù)據(jù)集，以提供給研究者。不僅介紹了他們的科學(xué)和用例，而且還讓Tapis團(tuán)隊(duì)在第一年年底之前介紹了系統(tǒng)的功能。”

TACC高級(jí)計(jì)算接口主管Co-PI Maytal Dahan表示：“我們非常高興能夠啟動(dòng)由NSF資助的新Tapis項(xiàng)目。“ Tapis將通過(guò)促進(jìn)強(qiáng)大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施功能和服務(wù)的發(fā)現(xiàn)，訪(fǎng)問(wèn)和使用來(lái)改變科學(xué)家的生產(chǎn)力。我們希望通過(guò)提供各種安全可靠的API服務(wù)來(lái)降低完成科學(xué)的復(fù)雜性并縮短產(chǎn)品上市時(shí)間?？梢栽谏a(chǎn)質(zhì)量的環(huán)境中為我們的用戶(hù)提供支持。

TACC團(tuán)隊(duì)將在項(xiàng)目的各個(gè)方面工作-開(kāi)發(fā)安全內(nèi)核，流數(shù)據(jù)API和集成，質(zhì)量保證和持續(xù)集成測(cè)試，外展，培訓(xùn)和員工開(kāi)發(fā)。我真的為T(mén)ACC和UH的團(tuán)隊(duì)感到驕傲，我們都熱心從一開(kāi)始就通過(guò)我們的早期采用者計(jì)劃與科學(xué)界合作，以創(chuàng)建對(duì)科學(xué)界產(chǎn)生積極影響的服務(wù)。”

Tapis項(xiàng)目是“持續(xù)創(chuàng)新網(wǎng)絡(luò)基礎(chǔ)設(shè)施”(CSSI)的一部分，該項(xiàng)目是由高級(jí)網(wǎng)絡(luò)基礎(chǔ)設(shè)施辦公室(OAC)牽頭的NSF跨領(lǐng)域計(jì)劃。“ CSSI支持創(chuàng)新的網(wǎng)絡(luò)基礎(chǔ)設(shè)施的發(fā)展，使研究人員社區(qū)能夠繼續(xù)并加速NSF支持的所有基礎(chǔ)科學(xué)和工程領(lǐng)域的進(jìn)步，”管理該獎(jiǎng)項(xiàng)的OAC計(jì)劃主任Stefan Robila博士說(shuō)。“通過(guò)在先前的工作基礎(chǔ)上，并利用現(xiàn)有的領(lǐng)導(dǎo)力計(jì)算資源(如TACC可獲得的資源)，Tapis有助于不斷增強(qiáng)網(wǎng)絡(luò)基礎(chǔ)設(shè)施，同時(shí)降低了獲取網(wǎng)絡(luò)基礎(chǔ)設(shè)施的障礙。”