使用元數(shù)據(jù)和政策管理
一些有大數(shù)據(jù)存儲(chǔ)需求的機(jī)構(gòu)將關(guān)注于在相對(duì)較低的成本的基礎(chǔ)上獲得大量的容量。對(duì)一些應(yīng)用程序，存儲(chǔ)解決方案和服務(wù)的一個(gè)重要屬性就是它們的元數(shù)據(jù)能力。這包含了支持靈活的元數(shù)據(jù)和用戶定義元數(shù)據(jù)的能力。
另一個(gè)重要的功能是政策管理，即使用元數(shù)據(jù)來(lái)實(shí)施或驅(qū)動(dòng)一些功能，比如多長(zhǎng)時(shí)間保留數(shù)據(jù)，何時(shí)何地安全地處置數(shù)據(jù)，以及在哪里保存數(shù)據(jù)(包括與應(yīng)用程序相關(guān)的信息)。這給非結(jié)構(gòu)化數(shù)據(jù)帶來(lái)了一定的靈活的結(jié)構(gòu)，同時(shí)沒(méi)有與結(jié)構(gòu)化數(shù)據(jù)管理相關(guān)的限制或約束。
尋找合適的媒介
找到合適的存儲(chǔ)媒介可以幫助用戶滿足它的需求。硬盤驅(qū)動(dòng)器(HDD)長(zhǎng)期以來(lái)是流行的方式來(lái)為許多應(yīng)用提供均衡的性能、容量、存儲(chǔ)密度和成本效率。隨著用戶需要在更長(zhǎng)的時(shí)間內(nèi)保存更多的數(shù)據(jù)，這個(gè)趨勢(shì)將繼續(xù)。
大數(shù)據(jù)還可以得益于如今的使用動(dòng)態(tài)隨機(jī)訪問(wèn)記憶體或NAND閃存記憶體--或兩者結(jié)合--來(lái)支持帶寬需求的固態(tài)驅(qū)動(dòng)器解決方案。SSD可以被用于存儲(chǔ)元數(shù)據(jù)和其他經(jīng)常被訪問(wèn)的數(shù)據(jù)。
磁帶繼續(xù)在大數(shù)據(jù)中扮演幾種角色。這些角色包括定時(shí)地將大量數(shù)據(jù)遷移，提供歸檔或?yàn)榇疟P上的數(shù)據(jù)提供備份。
降低大數(shù)據(jù)資源占用
重復(fù)數(shù)據(jù)刪除并不總是最大化大數(shù)據(jù)容量的有效方式。用戶可以考慮其他工具、技術(shù)來(lái)緩解由于存儲(chǔ)和保護(hù)不斷增長(zhǎng)的數(shù)據(jù)集而帶來(lái)的壓力。
例如，一個(gè)大數(shù)據(jù)項(xiàng)目可以使用歸檔或自動(dòng)分層技術(shù)來(lái)將一些數(shù)據(jù)遷移到更低層或低成本存儲(chǔ)層，比如磁帶。
另一個(gè)降低數(shù)據(jù)占用的方法就是重新思考如何、何時(shí)、何地以及為何數(shù)據(jù)要被保護(hù)。另一個(gè)減少數(shù)據(jù)占用的技術(shù)就是數(shù)據(jù)壓縮(實(shí)時(shí)的或異步的)，用不同的壓縮算法來(lái)降低存儲(chǔ)需求。
保護(hù)和服務(wù)于大數(shù)據(jù)
2020年全球?qū)⒂?.0026萬(wàn)EB(1EB=10億GB)的數(shù)據(jù)預(yù)計(jì)將產(chǎn)生，14倍于2012年創(chuàng)建的數(shù)據(jù)的量。
來(lái)源自IDC Digital Universe 2012(2012年IDC數(shù)字宇宙報(bào)告)
保護(hù)大數(shù)據(jù)要求基本的可靠性、可用性和可服務(wù)性--比如冗余電源、冷卻、控制器、節(jié)點(diǎn)和接口。用戶還必須確保數(shù)據(jù)的完整性和耐用性，執(zhí)行后端數(shù)據(jù)檢查來(lái)探測(cè)校驗(yàn)碼或保護(hù)錯(cuò)誤和比特?fù)p壞等意外情況。這些后端檢查必須對(duì)正常運(yùn)行的操作是透明的，而且必須在它們發(fā)展成問(wèn)題之前糾正這些情況。
用戶還必須重新檢查RAID(獨(dú)立磁盤冗余陣列)水平以優(yōu)化他們的大數(shù)據(jù)存儲(chǔ)解決方案。需要考慮得因素包括有多少驅(qū)動(dòng)器在RAID池或組中，數(shù)據(jù)塊或I/O大小，以及正在使用的設(shè)備的大小和類型，哪些可以進(jìn)行優(yōu)化以便適應(yīng)更小量的數(shù)據(jù)。
考慮存儲(chǔ)系統(tǒng)選項(xiàng)
一些用于分析工具的大數(shù)據(jù)解決方案采用集群或網(wǎng)格的配置內(nèi)部或?qū)Ｓ么鎯?chǔ)以及應(yīng)用程序軟件的行業(yè)標(biāo)準(zhǔn)x86或ia64服務(wù)器。
大數(shù)據(jù)應(yīng)用程序還可以利用現(xiàn)有的針對(duì)不同使用情境進(jìn)行優(yōu)化的存儲(chǔ)系統(tǒng)。一些用于傳統(tǒng)的高性能計(jì)算的存儲(chǔ)系統(tǒng)可能適合于使用塊或文件訪問(wèn)方式的帶寬密集型并發(fā)或并行訪問(wèn)應(yīng)用程序。
配置對(duì)象訪問(wèn)(包括HTTP、XML和云數(shù)據(jù)管理接口)的存儲(chǔ)解決方案也可以用于大數(shù)據(jù)存儲(chǔ)需求，比如視頻、音頻、圖片、監(jiān)控、地震數(shù)據(jù)或地質(zhì)數(shù)據(jù)，以及其他需要有大型文件需要存儲(chǔ)的應(yīng)用程序。對(duì)象存儲(chǔ)系統(tǒng)支持各種大小和不同類型的數(shù)據(jù)。
大數(shù)據(jù)存儲(chǔ)小貼士：
使用不損害性能的智能電源管理解決方案
利用各種工具和技術(shù)來(lái)降低數(shù)據(jù)的資源占用
留意不同解決方案下總的裸存儲(chǔ)和可用存儲(chǔ)
評(píng)估那些可能可以優(yōu)化的領(lǐng)域的存儲(chǔ)設(shè)置(包括RAID或保護(hù))
如果遇到很長(zhǎng)的硬盤修復(fù)時(shí)間，找出磁盤故障的原因
在可行的情況下使用混合的SSD、HDD和磁盤存儲(chǔ)來(lái)攤低預(yù)算
云可以輔助大數(shù)據(jù)應(yīng)用程序下的SSD、HDD和磁盤存儲(chǔ)
自加密驅(qū)動(dòng)器提供安全性并減少驅(qū)動(dòng)器處置時(shí)間
用程序的許多不同方面有不同的存儲(chǔ)需求。了解一家機(jī)構(gòu)的需求和選項(xiàng)可以幫助支持?jǐn)?shù)據(jù)增長(zhǎng)并同時(shí)最小化預(yù)算增長(zhǎng)。
進(jìn)行了大改進(jìn)的小硬盤
制造商們?cè)谟脖P驅(qū)動(dòng)器上取得了明顯的進(jìn)步，包括4TB容量(未來(lái)還可以更大)的3.5英寸驅(qū)動(dòng)器，以及容量更大速度更快的2.5英寸硬盤驅(qū)動(dòng)器。
一些新的1萬(wàn)轉(zhuǎn)2.5英寸硬盤驅(qū)動(dòng)器相比舊的1.5萬(wàn)轉(zhuǎn)3.5英寸驅(qū)動(dòng)器有相同的(或更好的)性能。其他硬盤上的改進(jìn)包括瓦片磁記錄和熱輔助磁記錄技術(shù)，這些技術(shù)能夠提高驅(qū)動(dòng)器單位面積的存儲(chǔ)密度(在一個(gè)磁片上給定物理空間內(nèi)所能存儲(chǔ)的比特?cái)?shù))。硬盤在繼續(xù)增長(zhǎng)和增加功能，使得它們也適用于大數(shù)據(jù)環(huán)境。
總體上，大數(shù)據(jù)的存儲(chǔ)選擇包括：
專門用于使用內(nèi)部或外部設(shè)備的服務(wù)器的存儲(chǔ)
通過(guò)共享軟件在服務(wù)器之間共享的存儲(chǔ)
使用塊、文件和對(duì)象的存儲(chǔ)，或使用一個(gè)可以在線、近線或離線訪問(wèn)的應(yīng)用程序編程接口(API)的存儲(chǔ)
固態(tài)驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、磁帶或云上的存儲(chǔ)
使用得到擦除碼、副本、快照、和廣域網(wǎng)分散等方式進(jìn)行保護(hù)的RAID的存儲(chǔ)
根據(jù)國(guó)外媒體heraldnet報(bào)道，微軟Windows Azure軟件及相關(guān)云服務(wù)年銷售額已經(jīng)突破10億美元大關(guān)，這也是微軟在挑戰(zhàn)亞馬遜云服務(wù)市場(chǎng)時(shí)首次獲得如此驕人的業(yè)績(jī)。
這對(duì)于Azure來(lái)說(shuō)無(wú)疑是一個(gè)里程碑事件。Azure是微軟的云計(jì)算平臺(tái)，存儲(chǔ)有企業(yè)信息和各類應(yīng)用程序，以支持用戶跨網(wǎng)絡(luò)平臺(tái)來(lái)訪問(wèn)這些信息和服務(wù)。
Azure服務(wù)平臺(tái)框架示意圖
在過(guò)去半年以來(lái)，Azure訂閱用戶獲得大幅增長(zhǎng)，增長(zhǎng)幅度高達(dá)48%。而與此相關(guān)的服務(wù)器與應(yīng)用工具部門也連續(xù)9個(gè)季度實(shí)現(xiàn)10%的收入增長(zhǎng)。而微軟傳統(tǒng)的Windows業(yè)務(wù)部門其收入較2010年最好水平下降了5.7%。
但與亞馬遜相比，微軟還存在挑戰(zhàn)。需要考慮如何維持現(xiàn)有客戶，并說(shuō)服新用戶選擇Azure。
