網(wǎng)易開源分布式存儲系統(tǒng)曲線

科技巨頭網(wǎng)易最近宣布了一個名為Curve的高性能分布式存儲系統(tǒng)的開放源碼，網(wǎng)易聲稱該系統(tǒng)的性能可達Ceph的1.84倍。

根據(jù)網(wǎng)易的說法，Curve定位于提供高性能，低延遲的存儲擴展塢，用戶可以在此基礎上為不同的應用場景構(gòu)建存儲系統(tǒng)，包括塊存儲，對象存儲和云原生數(shù)據(jù)庫。

根據(jù)項目文檔，Curve具有三個主要功能：高性能，高可用性和自治性。

高性能：Curve團隊引用了一些業(yè)界最高效的開源存儲系統(tǒng)，設計了一種新架構(gòu)來實現(xiàn)高性能和低延遲。

它使用brpc來確保網(wǎng)絡流量的高性能和低延遲，并使用基于Braft的麩來實現(xiàn)多副本一致性下的高性能和低延遲。

在磁盤IO端，Curve通過更細粒度的地址空間哈希來減少IO沖突。增加IO并發(fā)性，并使用chunkfilepool減小IO放大倍數(shù)以最大化限制硬件的性能。

Net已發(fā)布了比較Curve和Ceph L版本的測試數(shù)據(jù)。在單卷方案中，Curve的4K隨機讀取IOPS性能是Ceph的1.84倍，是Ceph的寫性能的1.58倍。Curve的4K隨機讀取IOPS性能是Ceph的1.84倍，其寫入性能是Ceph的1.58倍。

網(wǎng)易開源分布式存儲系統(tǒng)Curve-cnTechPost

高可用性：Curve設計為具有所有核心組件，它們可以全部容忍部分實例故障，而不會影響整個集群的可用性。

根據(jù)網(wǎng)易，Curve的客戶端IO不受單個存儲故障或系統(tǒng)蔓延的影響。

除了硬盤對接和服務進程中斷等常見例外，IO抖動也非常低。

當然，故障恢復過程不會對上層IO產(chǎn)生重大影響。

自治：只需單擊即可部署和升級Curve，而在操作和維護方面的人工干預最少。

它基于開源項目(如bvar，Promethues和Grafana)構(gòu)建全面的指標和警報系統(tǒng)。

目前，基于Curve的高性能塊存儲系統(tǒng)已應用于網(wǎng)易的一些核心業(yè)務。

它支持快照克隆和恢復，支持QEMU虛擬機和物理機NBD設備兩種掛載方式。

網(wǎng)易介紹說，該系統(tǒng)已經(jīng)在線超過400天，沒有出現(xiàn)數(shù)據(jù)不一致或數(shù)據(jù)丟失的情況，但主要故障卻具有相當?shù)目煽啃院统墒於取?/p>