上海騰閃分布式存儲系統(tǒng)采用全分布式設計與先進的存儲虛擬化技術相結合，由多個獨立的x86服務器作為存儲節(jié)點，實現(xiàn)統(tǒng)一資源調(diào)度、縱向橫向無縫擴展，以滿足海量數(shù)據(jù)的存儲需求。

技術路線

1.分布式存儲軟件架構

上海騰閃分布式存儲系統(tǒng)主要由存儲層、服務支撐層、接口層三層架構組成，如下圖所示。

上海騰閃分布式存儲支持基于國產(chǎn)CPU架構和X86架構的異構部署，支持基于固態(tài)硬盤和機械硬盤創(chuàng)建存儲池，支持異構存儲的納管與優(yōu)化。

2.分布式存儲技術特點

上海騰閃分布式存儲系統(tǒng)通過納管大量的存儲物理資源，構成一個或者多個分布式的虛擬化存儲池，可提供高性能、高穩(wěn)定、高安全的塊存儲、文件存儲、對象存儲等統(tǒng)一存儲服務，并通過接口層為前端應用提供多樣化的存儲協(xié)議對接。
上海騰閃分布式存儲系統(tǒng)采用全分布式冗余總體架構，運用先進的存儲虛擬化技術，對整個系統(tǒng)存儲資源實現(xiàn)統(tǒng)一調(diào)度和管理，可以無縫、無感地平衡擴容至上千個存儲節(jié)點，支持PB級別，甚至數(shù)百PB級別海量數(shù)據(jù)的高速存取。上海騰閃分布式存儲提供多種存儲服務，包含F(xiàn)C、iSCSI、塊、對象、文件存儲等，對傳統(tǒng)關系型數(shù)據(jù)庫、非結構化海量數(shù)據(jù)、云計算、大數(shù)據(jù)等不同應用場景提供統(tǒng)一存儲支撐。

3.分布式存儲系統(tǒng)技術優(yōu)勢

a．業(yè)務更敏捷、資源交付更彈性
在傳統(tǒng)的IT架構下，為滿足業(yè)務系統(tǒng)的資源需求，用戶需要獨立采購軟件和硬件設備；一般需要經(jīng)歷：預算-測試-招標-采購-部署-應用上線等流程，整個過程復雜、耗時，很難達到業(yè)務快速上線的目標。由于IT基礎架構資源往往是基于某個業(yè)務系統(tǒng)上線而建立，與業(yè)務系統(tǒng)有比較強的耦合關系，資源之間無法流動，容易造成信息孤島以及資源利用率較低等問題。此外，基于資源建設缺乏通盤的考慮，導致運維管理與擴展成本比較高。
上海騰閃分布式存儲的顯著優(yōu)勢之一就是業(yè)務更敏捷、資源交付更彈性。用戶可通過Openstack、VMware虛擬化平臺，K8s容器，或物理機，迅捷地上線業(yè)務，提高資源利用率。通過Web管理界面，將集群所有CPU、內(nèi)存、網(wǎng)絡、及存儲等資源進行統(tǒng)一納管，建設統(tǒng)一資源池，實現(xiàn)更靈活的資源劃分與交付；上述資源具備“彈性伸縮”特性，可對資源進行生命周期管理，既可迅速擴展資源規(guī)模，也可及時回收“閑置”資源進行重分配。

b. 性能突出的統(tǒng)一數(shù)據(jù)存儲平臺
上海騰閃分布式存儲采用分布式兩級緩存加速技術，實現(xiàn)性能加速。一級緩存為延遲低的DRAM，二級緩存為大容量固體硬盤，最熱的數(shù)據(jù)保存在一級緩存中，次熱的數(shù)據(jù)保存在二級緩存中。采用自適應算法管理緩存中的數(shù)據(jù)，能自動適應復雜業(yè)務工作流的變化，智能識別業(yè)務中最近使用的數(shù)據(jù)和頻繁使用的數(shù)據(jù)，將其保存在緩存中。每個節(jié)點可單獨增加一級緩存容量，和二級緩存容量，也可通過增加節(jié)點來增加總緩存容量。上海騰閃分布式存儲可管理的總緩存容量，可高達數(shù)百TB，是名副其實的分布式存儲“緩存之王”，能滿足用戶對存儲性能彈性、可擴展的需求。

c. 加密存儲技術
從安全的角度來看，對敏感數(shù)據(jù)進行加密以保護其免受窺探和黑客的攻擊是很重要的。
上海騰閃分布式存儲支持AES256加密、國密SM4 加密，支持指定秘鑰加密。我們采用的存儲加密技術是一種基于Device Mapper機制的加密方案；將磁盤格式化成特定分區(qū)，映射時需要輸入解密密碼方可掛載。簡言之，將OSD的緩存盤和數(shù)據(jù)盤都進行加密，建立一種設備的映射關系，兩個磁盤設備被加密映射成另外兩個設備，然后對這兩個新的設備進行操作，這樣就不會使我們的原設備直接被使用，從而達到安全的效果；密鑰可隨機生成，也可由用戶指定，保存至特定的數(shù)據(jù)庫，交互時實時獲取解密；保證了磁盤的絕對安全性。
具體實現(xiàn)方式是：上海騰閃將磁盤加密的秘鑰存到MON中，在新建OSD時，通過向MON請求秘鑰，加密磁盤；因為上海騰閃分布式存儲架構存在多活的MON，保證OSD啟動時，能準確獲取到秘鑰。因為秘鑰無需一直讀取，只在OSD新建和重啟的時候才需要，上海騰閃每次新建OSD同時創(chuàng)建一個lock用戶，該用戶只可以獲取當前OSD秘鑰。
MON負責維護各種map之外，保存了每個OSD加密的秘鑰，如果用戶沒有指定秘鑰，系統(tǒng)會隨機生成128位字符作為秘鑰，對OSD進行加密。

d. 數(shù)據(jù)壓縮與去重技術
分布式OSD存儲服務由分布在各個存儲節(jié)點上的OSD構成，通過分布式CRUSH算法，通過高可靠、高擴展、易管理存儲服務。在每個存儲節(jié)點上，通常會有多個OSD存在，數(shù)量通常為10到60個之間。上海騰閃在每個存儲節(jié)點內(nèi)，對該節(jié)點上的OSD數(shù)據(jù)進行統(tǒng)一管理，提供數(shù)據(jù)壓縮與去重服務，提升存儲效率。
上海騰閃分布式存儲支持數(shù)據(jù)在線壓縮，可支持LZJB、LZ4、ZLE、和GZIP等4種壓縮算法，虛擬化場景下，壓縮比可達到2倍以上。
另一方面，上海騰閃分布式存儲可在線檢測該節(jié)點上的所有OSD的數(shù)據(jù)，如果發(fā)現(xiàn)有相同的數(shù)據(jù)塊，則在該節(jié)點上僅保留一個原始的數(shù)據(jù)拷貝，相同數(shù)據(jù)塊通過指針指向該數(shù)據(jù)塊，而無需重復保存。在虛擬化運用場景中，大量的虛擬機具有很多相同的數(shù)據(jù)塊，數(shù)據(jù)去重可提升存儲使用效率3倍到10倍。數(shù)據(jù)去重服務包含兩個重要模塊，一個是數(shù)據(jù)去重Index，用與管理數(shù)據(jù)去重的元數(shù)據(jù)服務，提供各個數(shù)據(jù)塊的Fingerprint和快速查詢，通過通過計算各個數(shù)據(jù)塊的Fingerprint，來快速檢測該數(shù)據(jù)塊是否已經(jīng)存在；如果不存在，則需要寫入該數(shù)據(jù)塊；否則，只需記錄一個指針地址即可。數(shù)據(jù)去重Data用于保存唯一的數(shù)據(jù)塊，即去重后的數(shù)據(jù)。

e. 故障隔離與自動化運維能力強
在傳統(tǒng)架構下，隨著IT規(guī)模增大，數(shù)據(jù)中心將引入更多不同的設備以及技術，這無疑增大了運維的復雜性，使得企業(yè)的 IT 人員經(jīng)常上演“消防員”角色，即便是這樣也難以達到“不間斷”運行的目標。功能強大的Web管理頁面具有專門的自動化故障診斷模塊，通過圖形可視化收到實現(xiàn)監(jiān)控各種運行狀態(tài)，包括CPU、內(nèi)存、網(wǎng)絡、IOPS與帶寬指標，同時具備對磁盤監(jiān)控狀態(tài)、網(wǎng)絡、電源、主板等硬件的故障監(jiān)控、報警、及自動化診斷功能，使得整個系統(tǒng)的運維與管理變得簡潔直觀。

架構圖

合作伙伴