非托管、非結(jié)構(gòu)化數(shù)據(jù)是否堵塞了企業(yè)的主存儲(chǔ)?為了控制這種成本高且性能低下的情況，企業(yè)需要進(jìn)行經(jīng)濟(jì)高效的管理非結(jié)構(gòu)化數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)是所有數(shù)據(jù)中增長速度最快的。根據(jù)IDC的數(shù)據(jù)，它正在以61%的復(fù)合年增長率增長，到2025年將占全球數(shù)據(jù)的80%。對(duì)于許多大型IT企業(yè)而言，在不久前就已經(jīng)超過了這一標(biāo)準(zhǔn)。

非結(jié)構(gòu)化數(shù)據(jù)的增長不再受文件，電子表格，演示文稿，照片，視頻和音頻等通常文件的驅(qū)動(dòng)。當(dāng)今其增長背后的動(dòng)力來自日志，物聯(lián)網(wǎng)設(shè)備，社交媒體，傳感器，元數(shù)據(jù)和搜索引擎查詢等。

屠龍者咨詢公司的調(diào)查顯示，企業(yè)中的大多數(shù)非結(jié)構(gòu)化數(shù)據(jù)是涼數(shù)據(jù)(已使用30天以上且不經(jīng)常訪問)或冷數(shù)據(jù)(已使用90天以上且罕有訪問)。但是，它位于昂貴的主存儲(chǔ)上，不斷消耗預(yù)算。

管理非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)在于如何以既經(jīng)濟(jì)又高效的方式實(shí)現(xiàn)。非結(jié)構(gòu)化數(shù)據(jù)不容易分類或建立索引，也不容易存儲(chǔ)在傳統(tǒng)數(shù)據(jù)庫中。此外，它通常不是源自具備分析能力的數(shù)據(jù)庫，例如JSON數(shù)據(jù)庫、key-value數(shù)據(jù)庫和XML數(shù)據(jù)庫。這意味著這些數(shù)據(jù)必須被提取，轉(zhuǎn)換并加載到一個(gè)有用的數(shù)據(jù)庫中。這是一個(gè)勞動(dòng)密集，耗時(shí)且容易出錯(cuò)的過程，需要腳本或外部服務(wù)提供商。移動(dòng)數(shù)據(jù)還可以創(chuàng)建數(shù)據(jù)的多個(gè)副本，這意味著會(huì)有更多的存儲(chǔ)空間，機(jī)架空間，交換機(jī)端口，軟件許可證，電源，散熱，電纜，收發(fā)器，分配的開銷和管理員。那么這在經(jīng)濟(jì)上沒有任何意義。

是否要管理非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)的常見處理方式是根本不對(duì)其進(jìn)行管理。許多IT商店選擇增加其主存儲(chǔ)系統(tǒng)的容量，而不是對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分類，管理，分析甚至歸檔。他們認(rèn)為，如果有需要，數(shù)據(jù)就在那兒，但是可能很難找到。這種方法的問題在于它在財(cái)務(wù)上是不可持續(xù)的，原因有如下幾個(gè)。

第一個(gè)原因是數(shù)據(jù)會(huì)消耗容量---通常是主存儲(chǔ)容量。而且，一旦消耗掉了，該容量就無法用于其他數(shù)據(jù)。主存儲(chǔ)是最昂貴的存儲(chǔ)，通常由某種類型的閃存SSD介質(zhì)組成。存儲(chǔ)系統(tǒng)軟件和許多其它類型的軟件(如備份和復(fù)制)都是基于容量購買許可或訂閱的，這就增加了非結(jié)構(gòu)化數(shù)據(jù)的成本，即使是非結(jié)構(gòu)化數(shù)據(jù)未被訪問時(shí)也是如此。

所有存儲(chǔ)系統(tǒng)必須每3 - 5年更新一次。當(dāng)一個(gè)系統(tǒng)升級(jí)，新系統(tǒng)必須包括所有現(xiàn)有的非結(jié)構(gòu)化數(shù)據(jù)，以及在新系統(tǒng)使用壽命期間存儲(chǔ)的任何數(shù)據(jù)，這就增加了更多的基礎(chǔ)設(shè)施和成本。同時(shí)，需要將數(shù)據(jù)從舊存儲(chǔ)系統(tǒng)遷移到新存儲(chǔ)系統(tǒng)。這需要時(shí)間、精力、軟件或腳本。它消耗的不僅僅是主存儲(chǔ)空間，還消耗二級(jí)存儲(chǔ)，因?yàn)樗写鎯?chǔ)的非結(jié)構(gòu)化數(shù)據(jù)都必須進(jìn)行備份。除了備份非結(jié)構(gòu)化數(shù)據(jù)的成本外，更大的成本是從中斷中恢復(fù)數(shù)據(jù)。恢復(fù)涼數(shù)據(jù)和冷數(shù)據(jù)所花費(fèi)的時(shí)間可能會(huì)延遲系統(tǒng)的恢復(fù)和運(yùn)行，這個(gè)過時(shí)的過程會(huì)增加更多成本。

將非結(jié)構(gòu)化數(shù)據(jù)保存在主存儲(chǔ)上造成問題的另一個(gè)原因是全球的隱私法律法規(guī)，如《加州消費(fèi)者隱私法》、《歐盟通用數(shù)據(jù)保護(hù)條例》、日本的《個(gè)人信息保護(hù)法》和泰國的《個(gè)人數(shù)據(jù)保護(hù)法》。是否遵從是沒有余地可選擇的，如果不遵從會(huì)產(chǎn)生嚴(yán)重的經(jīng)濟(jì)后果。這意味著IT組織必須知道他們所保存的非結(jié)構(gòu)化數(shù)據(jù)中是否包含個(gè)人身份信息(PII)及其內(nèi)容。

非結(jié)構(gòu)化數(shù)據(jù)管理工具

管理非結(jié)構(gòu)化數(shù)據(jù)以優(yōu)化性能和降低成本的關(guān)鍵是捕獲，收集，解析和分析元數(shù)據(jù)。 在某些情況下，例如PII，這意味著需要分析內(nèi)容本身。 有幾家公司提供了旨在管理非結(jié)構(gòu)化數(shù)據(jù)及其成本的產(chǎn)品和服務(wù)。這些產(chǎn)品包括Aparavi, InfiniteIO, open source iRODs, Komprise, Spectra Logic StorCycle等。

正確完成非結(jié)構(gòu)化數(shù)據(jù)管理后，一切都會(huì)以良好的方式發(fā)生變化。數(shù)據(jù)從昂貴的主存儲(chǔ)中移動(dòng)，存檔或刪除，轉(zhuǎn)移到更具成本效益的二級(jí)存儲(chǔ)，云存儲(chǔ)或磁帶存儲(chǔ)中。數(shù)據(jù)管理軟件根據(jù)非結(jié)構(gòu)化數(shù)據(jù)的特征和性能要求確定將其移動(dòng)到何處。通過客戶端軟件，符號(hào)鏈接，全局名稱空間或它們的組合來維護(hù)訪問。

這些智能和自主的數(shù)據(jù)管理系統(tǒng)具有訪問和分類非結(jié)構(gòu)化數(shù)據(jù)的不同方法。 他們使用管理特權(quán)(iROD，Komprise，Spectra Logic，Starfish，StrongBox)安裝文件或?qū)ο蟠鎯?chǔ)，看起來像交換機(jī)一樣位于數(shù)據(jù)路徑中(InfiniteIO)，或者運(yùn)行在捕獲元數(shù)據(jù)的計(jì)算系統(tǒng)中(Aparavi)，對(duì)內(nèi)容進(jìn)行分類，復(fù)制，移動(dòng)，歸檔和刪除數(shù)據(jù)。這樣可以減少在主存儲(chǔ)中消耗的容量以及在二級(jí)存儲(chǔ)中備份或復(fù)制的數(shù)據(jù)。

如何選擇非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)

將數(shù)據(jù)從昂貴的主存儲(chǔ)轉(zhuǎn)移到成本較低的存儲(chǔ)后，可以輕松訪問它們，而無需重新存儲(chǔ)原始存儲(chǔ)中的數(shù)據(jù)。它對(duì)數(shù)據(jù)進(jìn)行分類，實(shí)現(xiàn)基于策略的移動(dòng)和存儲(chǔ)，并使存儲(chǔ)系統(tǒng)商品化。

選擇最佳的智能或自主非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)需要知識(shí)和研究。企業(yè)需要回答以下五個(gè)有關(guān)企業(yè)的需求和正在尋找的產(chǎn)品的問題：

1、隨著時(shí)間的推移，將移動(dòng)或遷移多少數(shù)據(jù)?

2、是否需要元數(shù)據(jù)和數(shù)據(jù)索引?

3、需要哪些級(jí)別的可擴(kuò)縮性和性能?需要一個(gè)可擴(kuò)展至艾字節(jié)的系統(tǒng)，還是一個(gè)PB級(jí)的系統(tǒng)就足夠了?

4、希望管理系統(tǒng)的自動(dòng)化程度，簡(jiǎn)單性和直觀性如何?

5、最后，每個(gè)系統(tǒng)如何獲得許可或訂閱?雖然其中大多數(shù)都是按每太字節(jié)收費(fèi)的，但收費(fèi)標(biāo)準(zhǔn)取決于運(yùn)行該軟件的物理機(jī)或虛擬機(jī)中的內(nèi)核數(shù)。這關(guān)系到總擁有成本。

如果做得好，管理非結(jié)構(gòu)化數(shù)據(jù)的總成本應(yīng)該低于以前的完全不管理的方法。