本文從分布式存儲架構(gòu)特點引入云環(huán)境下提供分布式存儲的使用場景，以及銀行業(yè)中適合承載的業(yè)務(wù)類型。并對分布式存儲在云環(huán)境下的基本部署進行描述。希望能夠加深大家對云環(huán)境中分布式存儲應(yīng)用管理的理解，以充分利用分布式存儲實現(xiàn)塊存儲、文件存儲、對象存儲的方式和特點，補充集中式企業(yè)存儲的短板，針對PB級別海量非結(jié)構(gòu)化數(shù)據(jù)等典型場景，體現(xiàn)存調(diào)優(yōu)勢。

隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模越來越大，并發(fā)請求越來越高，傳統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)在性能、價格、可擴展性方面已經(jīng)不能很好地滿足需求。谷歌、亞馬遜等互聯(lián)公司率先在后臺基礎(chǔ)設(shè)施中引入超大規(guī)模分布式存儲系統(tǒng)，用來解決海量數(shù)據(jù)的存儲問題。與傳統(tǒng)的集中式存儲技術(shù)不同，分布式存儲沒有將數(shù)據(jù)存儲在某個特定節(jié)點上，而是通過網(wǎng)絡(luò)將各個節(jié)點分散的存儲資源匯聚成一個虛擬的存儲備，將數(shù)據(jù)分散在各處。相較于集中存儲，分布式存儲成本低，擴展性好，弱化了關(guān)系數(shù)據(jù)模型，可以得到高并發(fā)和高性能。

1分布式存儲概念及特點

分布式存儲系統(tǒng)，是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應(yīng)用的需要。隨著各行業(yè)數(shù)字化轉(zhuǎn)型的加速，越來越多的數(shù)據(jù)被生產(chǎn)出來，分布式存儲成為我們應(yīng)對海量數(shù)據(jù)挑戰(zhàn)的重要助力。從20世紀80年代開始，歷經(jīng)幾十年的演進，分布式存儲已經(jīng)走過了四個階段：第一階段是1980年代的網(wǎng)絡(luò)文件系統(tǒng)，通過少量服務(wù)器實現(xiàn)網(wǎng)絡(luò)環(huán)境下的簡單文件共享；第二階段是1990年代的共享SAN文件系統(tǒng)，已經(jīng)能夠外接SAN設(shè)備實現(xiàn)更大的文件系統(tǒng)；第三階段是2000年代的Share-Nothing存儲，開始利用通用服務(wù)器構(gòu)建起高擴展的存儲系統(tǒng)；第四階段是2010年代逐步產(chǎn)生的企業(yè)級云存儲，這類存儲開始具備豐富的企業(yè)特性，存儲性能、效率和數(shù)據(jù)保護能力有了顯著的增強，開始在各行各業(yè)中廣泛應(yīng)用。

此外，不同類型的數(shù)據(jù)需要用不同的分布式存儲系統(tǒng)去處理。圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，由于個體相互之間沒有關(guān)聯(lián)，體積大，采用二級制，通常使用分布式文件系統(tǒng)進行存儲；自描述的數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混在一起的半結(jié)構(gòu)化數(shù)據(jù)，比較簡單的可以用分布式鍵值系統(tǒng)存儲，較為復(fù)雜的一般采用分布式表格系統(tǒng)來存儲區(qū)；結(jié)構(gòu)化數(shù)據(jù)由分布式數(shù)據(jù)庫存儲。

2云計算的概念及特點

云計算是網(wǎng)格計算、分布式計算(Distributed Computing)、并行計算(Parallel Computing)、效用計算(Utility Computing)、網(wǎng)絡(luò)存儲、虛擬化(Virtualization)、負載均衡(Load Balance)等傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。廣義云計算指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需要、易擴展的方式獲得服務(wù)。這種服務(wù)可以是IT軟件和互聯(lián)網(wǎng)相關(guān)服務(wù)，也可以是其他服務(wù)。狹義云計算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需資源。總體來說云計算具有以下幾個特點：1)超大規(guī)模：“云”具有相當?shù)囊?guī)模，企業(yè)私有云一般擁有數(shù)百上千臺服務(wù)器并且能夠橫向平滑擴展，“云”賦予了用戶前所未有的計算能力；2)虛擬化：云計算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請求的資源來自“云”，而不是固定的有形的實體。應(yīng)用在“云”中某處運行，但實際上用戶無需了解、也不用擔心應(yīng)用運行的具體位置；3)高可靠性：“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務(wù)的高可靠性；4)通用性：云計算不針對特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個“云”可以同時支撐不同的應(yīng)用運行；5)高可擴展性：“云”的規(guī)模可以動態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長的需要；6)按需服務(wù)：“云”是一個龐大的資源池，你按需購買；7)廉價性：由于“云”的自動化集中式管理使大量企業(yè)無需負擔日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶可以充分享受“云”的低成本優(yōu)勢。

3分布式存儲在云環(huán)境下的應(yīng)用場景

3.1分布式存儲系統(tǒng)架構(gòu)

云和AI時代，數(shù)據(jù)迎來海量增長。高速5G通信、高清8K視頻、自動駕駛和大數(shù)據(jù)分析等越來越多的新興應(yīng)用正逐步推高對數(shù)據(jù)存儲的需求。企業(yè)不斷擴展業(yè)務(wù)邊界，整合云場景存儲資源，以更低TCO（Total Cost of Ownership)、更靈活的彈性部署應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)快速增長。在這樣的背景下，分布式存儲架構(gòu)成為了首選。各存儲廠家紛紛推出自己的分布式存儲產(chǎn)品，通過存儲系統(tǒng)軟件將每個硬件節(jié)點的本地存儲資源組織起來，按需為上層應(yīng)用提供文件存儲、對象存儲、大數(shù)據(jù)存儲和塊存儲服務(wù)。實現(xiàn)海量數(shù)據(jù)儲存更經(jīng)濟、多樣性數(shù)據(jù)使用更高效、在線業(yè)務(wù)承載更可靠。其系統(tǒng)架構(gòu)如圖1。

目前大多分布式存儲產(chǎn)品都會提供基于三層的分布式存儲架構(gòu)，會融合分布式文件、對象、大數(shù)據(jù)和塊多個服務(wù)形態(tài)，支持文件、對象、大數(shù)據(jù)服務(wù)部署在一個集群，并統(tǒng)一管理，整體功能架構(gòu)由存儲接口層、存儲服務(wù)層、存儲引擎層和存儲管理組成，如圖2所示，此外還會提供一些殺毒、異構(gòu)開源存儲管理的特色功能。

分布式存儲系統(tǒng)具有海量數(shù)據(jù)儲存更經(jīng)濟、多樣性數(shù)據(jù)使用更高效、在線業(yè)務(wù)承載更可靠等優(yōu)勢，已被廣泛應(yīng)用于如下場景：

1)HPC（High Performance Computing)場景：在氣象、基因、石油等HPC高性能計算場景，應(yīng)用對分布式存儲的性能要求高。文件服務(wù)提供的DPC可減少跨網(wǎng)絡(luò)傳輸延遲，并提供標準接口給應(yīng)用，在不修改應(yīng)用的情況下提供比標準協(xié)議更高的性能。

2)內(nèi)容存儲、備份歸檔場景：高性能、高可靠的企業(yè)級對象存儲資源池可滿足互聯(lián)網(wǎng)數(shù)據(jù)、在線音頻/視頻、企業(yè)網(wǎng)盤等實時在線業(yè)務(wù)吞吐量大、熱點數(shù)據(jù)頻繁訪問的業(yè)務(wù)需求，以及長期保存、在線訪問需求。例如應(yīng)用于金融電子票據(jù)影像、雙錄（錄音/錄像)，醫(yī)療影像、政企電子文檔和車聯(lián)網(wǎng)場景存儲、備份或歸檔。

3)大數(shù)據(jù)分析場景：大數(shù)據(jù)計算存儲分離解決方案可整合傳統(tǒng)數(shù)據(jù)孤島，構(gòu)建統(tǒng)一的企業(yè)大數(shù)據(jù)資源池，結(jié)合大比例EC、存儲和計算分離按需部署和擴容等企業(yè)級能力，實現(xiàn)大數(shù)據(jù)業(yè)務(wù)效率提升及TCO降低。例如應(yīng)用于金融大數(shù)據(jù)分析、運營商日志留存大數(shù)據(jù)和政務(wù)大數(shù)據(jù)等。

4)云/虛擬化場景：為云和虛擬化提供按需獲取、彈性擴展的海量存儲資源池，基于通用服務(wù)器大幅提升存儲資源的部署、擴展和運維效率。例如應(yīng)用于金融互聯(lián)網(wǎng)渠道接入云、開發(fā)測試云，運營商BOM域業(yè)務(wù)云化、B2B云資源池、政務(wù)云等。

5)關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫場景：通過分布式Active-Active雙活、穩(wěn)定低時延等企業(yè)級能力，保障OLAP或OLTP類關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫、數(shù)據(jù)倉庫高效穩(wěn)定運行。

3.2云環(huán)境下分布式存儲的應(yīng)用場景

用戶訪問層是基于云存儲開發(fā)的應(yīng)用程序的入口，授權(quán)用戶可以通過標準的公共應(yīng)用接口登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲產(chǎn)品服務(wù)商不同，云存儲提供的訪問類型和訪問手段也不同。

數(shù)據(jù)服務(wù)層是利用云存儲資源進行應(yīng)用開發(fā)的關(guān)鍵部分，云存儲平臺通過數(shù)據(jù)服務(wù)層為用戶提供統(tǒng)一的協(xié)議和編程接口，進行應(yīng)用程序的開發(fā)。應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營機構(gòu)可以根據(jù)實際業(yè)務(wù)類型開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。

數(shù)據(jù)管理層是云存儲最為核心的部分，也是最復(fù)雜的部分。數(shù)據(jù)管理層采用集群技術(shù)、分布式存儲技術(shù)，實現(xiàn)多存儲設(shè)備之間的協(xié)同工作，對外提供高可用性、可擴展性的服務(wù)，同時還負責(zé)數(shù)據(jù)加密、備份、容災(zāi)以及必要的計費等任務(wù)。

數(shù)據(jù)存儲層是云存儲最基礎(chǔ)的部分，由不同類型的存儲設(shè)備和網(wǎng)絡(luò)設(shè)備組成。數(shù)據(jù)存儲層實現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理、存儲設(shè)備管理、狀態(tài)監(jiān)控等。存儲層位于云存儲的最下層，它是云存儲中最基礎(chǔ)的部分。存儲設(shè)備的選擇多種多樣各種存儲設(shè)備都可以用來構(gòu)建這一層。云存儲中的存儲設(shè)備通常數(shù)量眾多且分布在多個不同位置，彼此之間通過互聯(lián)網(wǎng)或者光纖通道等把各種網(wǎng)絡(luò)連接在一起。分布在存儲設(shè)備之上的是一個統(tǒng)一的存儲硬件設(shè)備管理系統(tǒng)，通過這一層可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護。

在行內(nèi)分布式存儲主要以分布式SAN為虛擬化資源池提供服務(wù)，以分布式文件為媒體/視頻監(jiān)控/HPC提供服務(wù)、以分布式對象為備份歸檔提供服務(wù)，以分布式數(shù)據(jù)庫為大數(shù)據(jù)服務(wù)。

3.2.1為云平臺底座提供基礎(chǔ)存儲資源

云環(huán)境下，分布式存儲系統(tǒng)能夠?qū)崿F(xiàn)計算資源和存儲資源的單獨橫向擴展，計算資源不足時直接擴容計算節(jié)點，存儲空間不足時只需擴容存儲節(jié)點，極大地節(jié)省硬件資源降低成本。對于云平臺中部署的輕量級企業(yè)關(guān)鍵應(yīng)用程序，可選用中等性能的磁盤類型，滿足性能要求不高但是要求具有豐富的企業(yè)級特性場景，例如普通數(shù)據(jù)庫、應(yīng)用VM、中間件VM等數(shù)據(jù)存儲需求。通過云硬盤的形式掛載給虛擬機或裸金屬服務(wù)器使用，滿足企業(yè)用戶應(yīng)用數(shù)據(jù)的存儲需求。

分布式存儲在云平臺提供基礎(chǔ)存儲服務(wù)，通過彈性云硬盤的形式提供給應(yīng)用虛擬機和裸金屬使用，在應(yīng)用對性能要求不高的情況下，通常在初期用于渠道類應(yīng)用、各類外圍應(yīng)用、灰度發(fā)布應(yīng)用、容器技術(shù)應(yīng)用、桌面以及開發(fā)測試環(huán)境，采用分布式存儲做云平臺底座存儲設(shè)備，提供彈性擴展、存算分離、存儲類型可選、EC糾刪可靠和高并發(fā)等便捷場景服務(wù)的作為結(jié)合點。

為了應(yīng)對互聯(lián)網(wǎng)金融帶來的業(yè)務(wù)浪涌，除核心賬務(wù)系統(tǒng)采用集中式高端全閃存儲外，外圍業(yè)務(wù)以及海量非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)場景已經(jīng)全面向分布式存儲過渡。憑借分布式存儲的彈性資源分配能力，金融行業(yè)的新業(yè)務(wù)開發(fā)和部署效率相比傳統(tǒng)存儲都有所提升和加速，突發(fā)資源獲取周期從過去的天級縮短到小時級，資源池化后，存儲效率得到顯著提升，運維費用也不斷降低，整體TCO實現(xiàn)有效壓降。

銀行的七大類業(yè)務(wù)系統(tǒng)（賬務(wù)處理類、業(yè)務(wù)處理類、渠道服務(wù)類、服務(wù)支撐類、外聯(lián)三方類、數(shù)據(jù)服務(wù)類、辦公管理類），在與金融云平臺和分布式存儲架構(gòu)功能特點的結(jié)合中，我們對各類系統(tǒng)的資源需求變動、業(yè)務(wù)迭代速度、數(shù)據(jù)一致性要求、并發(fā)要求進行分析，得出云平臺中適用的業(yè)務(wù)系統(tǒng)類型，如表1所示，進而為選擇和配置云平臺中各區(qū)域分布式存儲提供依據(jù)。

3.2.2為云平臺提供分布式數(shù)據(jù)庫存儲資源

在云計算平臺中，傳統(tǒng)數(shù)據(jù)庫以O(shè)racle、DB2或者MySql的關(guān)系型數(shù)據(jù)庫為主，但是當單表數(shù)據(jù)量爆炸或者單個數(shù)據(jù)庫無法承受高強度I/O時，集中式數(shù)據(jù)庫是無法解決性能和數(shù)據(jù)處理瓶頸問題的，難以應(yīng)對應(yīng)用層的高并發(fā)數(shù)據(jù)訪問。業(yè)務(wù)核心數(shù)據(jù)庫使用場景需要支持應(yīng)用高峰期的密集訪問，要求磁盤具有持續(xù)穩(wěn)定的高性能和低時延，通過選用超高性能的磁盤類型，可以實現(xiàn)超強性能與超高可靠性的集合，滿足關(guān)系型數(shù)據(jù)庫等數(shù)據(jù)密集型場景下低時延、高I/O性能密度的嚴苛性能要求。

在基于MySQL的分布式數(shù)據(jù)庫中，分表支持動態(tài)漂移，隨著表的熱度和大小進行動態(tài)的擴容和伸縮，保證資源分配最優(yōu)化；而分布式存儲節(jié)點可以無限水平擴展，從而提供可動態(tài)無限擴展的存儲容量；性能隨節(jié)點擴展而線性增長，滿足云計算平臺對容量和性能的需求，具備云服務(wù)所有的彈性、敏捷、按需和輕運維特性。因此，采用分布式存儲優(yōu)化后用于數(shù)據(jù)庫的數(shù)據(jù)存儲，提高性能的同時確保了數(shù)據(jù)的安全性。

在金融及其他領(lǐng)域，基于分布式存儲加速多域融合，實現(xiàn)降本增效。通過對非關(guān)鍵業(yè)務(wù)進行云化部署，并使用分布式存儲構(gòu)建統(tǒng)一的云資源池，實現(xiàn)多域融合。云資源池替換傳統(tǒng)存儲的煙囪化建設(shè)，大幅提升了存儲資源的利用率，業(yè)務(wù)上線時間也大幅降低，為金融行業(yè)降本節(jié)支提供了很大助力。

4分布式存儲在云環(huán)境下的部署

國內(nèi)分布式存儲相對于集中式存儲而言是一種分布式技術(shù)，是在規(guī)格維度上按照擴展性進行分類的，國際上則是按照架構(gòu)將存儲分為企業(yè)級存儲和軟件定義存儲，不論企業(yè)選擇存儲產(chǎn)品的資本與管理支出模式，也不論存儲廠商是否能夠真正做到分布式存儲的軟、硬件解耦，本文暫定已經(jīng)完成了對比集中式存儲的全面而細致的選型評估過程，結(jié)合企業(yè)自身情況對分布式存儲能夠物善其用的前提下進行下面的實施與部署，對冷熱數(shù)據(jù)分層、數(shù)據(jù)湖建設(shè)需求以及高可用性要求能夠充分考慮，如果多個AZ在百TB級別以上，建議進行較為合理的規(guī)劃。

在云基礎(chǔ)架構(gòu)中，分布式存儲有兩種部署形態(tài)，融合部署和分離部署，融合部署多用于云平臺管理區(qū)域服務(wù)的使用，分布式存儲多用于用戶業(yè)務(wù)使用。根據(jù)交換機組網(wǎng)形態(tài)分多種組網(wǎng)形態(tài)和部署方案，如存儲節(jié)點前后端共享網(wǎng)絡(luò)和前后端獨立網(wǎng)絡(luò)部署方案，以前后端獨立部署為例，按照前后端網(wǎng)口的類型又可分為10GE、25GE、100GE、IB網(wǎng)絡(luò)四種類型（10GE前端+10GE后端、25GE前端+25GE后端等)，本文以10GE前端+10GE后端獨立組網(wǎng)為例，闡述云平臺內(nèi)分布式存儲系統(tǒng)的部署方式。

4.1組網(wǎng)規(guī)劃

規(guī)劃云平臺各網(wǎng)絡(luò)平面時，對分布式存儲業(yè)務(wù)網(wǎng)絡(luò)平面、存儲網(wǎng)絡(luò)平面和管理網(wǎng)絡(luò)平面進行合理規(guī)劃，如圖4和圖5所示，針對各個網(wǎng)絡(luò)平面進行規(guī)劃設(shè)計。同時，針對物理硬件設(shè)備進行角色梳理和機柜位置合理規(guī)劃，管理節(jié)點（管理分布式事務(wù)進程的服務(wù)器，負責(zé)塊存儲服務(wù)的告警、監(jiān)控、日志、配置等操作維護功能)、存儲節(jié)點（提供存儲資源的服務(wù)器)、計算節(jié)點（運行應(yīng)用系統(tǒng)的服務(wù)器)，根據(jù)不通功能角色規(guī)劃不同網(wǎng)絡(luò)平面地址。

1)業(yè)務(wù)網(wǎng)絡(luò)（iSCSI網(wǎng)絡(luò))：用于計算節(jié)點和VBS之間通過iSCSI協(xié)議進行通信。

2)BMC/管理網(wǎng)絡(luò)：BMC網(wǎng)絡(luò)，用于接入節(jié)點Mgmt接口，提供遠程硬件設(shè)備帶外管理功能。

3)存儲網(wǎng)絡(luò)：用于VBS和OSD間或者OSD和OSD間數(shù)據(jù)通信。

4)容災(zāi)復(fù)制網(wǎng)絡(luò)：用于主端存儲系統(tǒng)和從端存儲系統(tǒng)間網(wǎng)絡(luò)的數(shù)據(jù)傳輸。

4.2節(jié)點網(wǎng)口規(guī)劃

根據(jù)組網(wǎng)規(guī)劃，分別對計算節(jié)點、存儲節(jié)點的網(wǎng)口進行規(guī)劃，保持同一類型的節(jié)點網(wǎng)口位置和功能一致，方便實施和后續(xù)運維。計算節(jié)點按實際需要進行環(huán)境規(guī)劃各計算節(jié)點接口的用途和上行鏈路。對存儲節(jié)點的規(guī)劃，可根據(jù)服務(wù)器物理接口，如圖6所示：

規(guī)劃各存儲節(jié)點接口的用途和上行鏈路，以表2為例建立計算和存儲節(jié)點的節(jié)點總網(wǎng)絡(luò)規(guī)劃。

4.3硬件安裝和軟件部署

根據(jù)規(guī)劃的接口和連線規(guī)則，進行物理設(shè)備的加電、連線、網(wǎng)絡(luò)配置和測試，物理硬件初始化完成后進行分布式軟件系統(tǒng)的安裝部署，期間硬件安裝的如圖7所示。

根據(jù)分布式存儲軟件的安裝指南，進行分布式存儲系統(tǒng)的安裝，以華為OceanStor Pacific分布式存儲在華為云環(huán)境下的部署為例，主要安裝流程如圖8所示，主要流程如下。

1）分布式存儲系統(tǒng)安裝前準備

檢查交換機是否已經(jīng)根據(jù)網(wǎng)絡(luò)規(guī)劃配置完成，并準備相關(guān)的軟件包、安裝工具和安裝指導(dǎo)文檔。

2）準備管理虛擬機

在對接云平臺時，通過Web-UI方式在云平臺虛擬化底座中安裝管理節(jié)點虛擬機，以便后續(xù)為管理節(jié)點安裝管理軟件。

3)配置Fusionstorage-Block角色

通過云平臺底座虛擬化系統(tǒng)的安裝部署界面，為計算節(jié)點配置Fusionstorage-Block角色，并保證網(wǎng)絡(luò)通信正常。

4)配置各節(jié)點BMC管理面IP并檢查存儲節(jié)點各檢查項指標

配置各節(jié)點BMC管理面IP，通過該遠程管理系統(tǒng)可以對硬件進行高可靠的監(jiān)測和管理。同時，安裝前對存儲節(jié)點服務(wù)器的固件版本、操作系統(tǒng)版本、操作系統(tǒng)是否安全加固、系統(tǒng)盤緩存策略、JBOD功能、SMMU功能、設(shè)備固件驅(qū)動版本以及查硬盤背板的兼容性。

5)配置節(jié)點管理網(wǎng)絡(luò)

按照網(wǎng)絡(luò)規(guī)劃，對存儲節(jié)點進行管理節(jié)點網(wǎng)口IP配置。

6）安裝分布式存儲軟件

按照安裝流程，進行分布式存儲軟件部署（安裝管理節(jié)點、增加存儲節(jié)點、配置存儲網(wǎng)絡(luò)、安裝存儲節(jié)點、創(chuàng)建控制集群)。

根據(jù)技術(shù)能力和實際場景可部署GFS、Ceph等開源分布式存儲軟件，以Hadoop集群為例，由云平臺進行統(tǒng)一納管，則在基礎(chǔ)配置之后（配置jdk環(huán)境、配置集群環(huán)境變量、關(guān)閉防火墻、修改主機名、master和slave的IP地址、配置SSH免密登錄），進入HDFS集群配置（安裝master和slave的hadoop文件、配置core-site文件調(diào)優(yōu)、集群環(huán)境變量、并啟動集群和web管理），完成與云平臺的對接。對于存量的Hadoop/HDFS集群，而且存有多種格式數(shù)據(jù)量大的情況，可考慮利用類似DI on Hadoop的遷云工具進行對接。

7)配置交換機流控并加載存儲License

當存儲網(wǎng)絡(luò)使用RoCE組網(wǎng)時需要配置交換機流控，對后端網(wǎng)絡(luò)進行流量閾值監(jiān)控，同時加載分布式存儲授權(quán)l(xiāng)icense，并登錄云平臺管理面使用分布式存儲提供的彈性云硬盤服務(wù)。

4.4分布式存儲測試與上線

在分布式存儲部署完成之后，通過設(shè)備常規(guī)檢驗測試、兼容性測試、功能測試、性能測試、穩(wěn)定性和可靠性測試，以及運維管理功能等非功能方面的測試，全面驗證分布式存儲各方面特性，之后在云管平臺中實現(xiàn)對基礎(chǔ)設(shè)施中存儲資源進行納管與上線，各企業(yè)都有成熟的流程規(guī)范，在此不再贅述。

5總結(jié)

本文從云和分布式存儲各自特點出發(fā)，從分布式存儲架構(gòu)特點引入云環(huán)境下提供分布式存儲的使用場景和銀行業(yè)中適合承載的業(yè)務(wù)類型。后續(xù)對分布式存儲在云環(huán)境下的基本部署進行描述，希望能夠加深云環(huán)境中分布式存儲應(yīng)用管理的理解，充分利用分布式存儲實現(xiàn)塊存儲、文件存儲、對象存儲的方式和特點，補充集中式企業(yè)存儲的短板，針對PB級別海量非結(jié)構(gòu)化數(shù)據(jù)等典型場景，體現(xiàn)存調(diào)優(yōu)勢，為云環(huán)境提供有力資源保障的同時，分布式架構(gòu)為運維能力和技術(shù)水平提出了更高的要求標準和規(guī)范。

物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈等新技術(shù)的不斷產(chǎn)生和迭代，會給云計算帶來顛覆性的改變，數(shù)字資產(chǎn)的安全保障，態(tài)勢感知等技術(shù)發(fā)展都是應(yīng)運而生的必然產(chǎn)物。在元宇宙的時代，萬物皆有虛擬化身，而云計算作為數(shù)字化的基礎(chǔ)設(shè)施，勢必準備好為元宇宙提供高性價比、高可靠、高兼容性、高擴展性、高運算速度的特性，最終實現(xiàn)打破時間和空間的界限，實現(xiàn)社交、游戲、辦公等場景的虛擬和現(xiàn)實的融合。