下面的場景

身為IT部門經理的你

是否正在遇到？

“陳工，我是祝工，上次你們推薦的Isilon存儲我們現在已經上線了，使用比較簡單，體驗也很好，我們現在數據量非常大，后期擴展和設備更新也省去了我數據遷移的麻煩，這個點解決了我多年心中的痛啊，現在晚上終于能安心睡個好覺了。”

“祝工，你滿意就好，聽到你這么說，我也非常有成就感，現在是不是有什么新的問題啊？”

“你懂我，哈哈！其實是這樣的，我現在碰到了一個比較頭疼的問題，除了Isilon外，其實我們還有4套數據量比較大的文件存儲，主要存儲項目組文檔資料、合同掃描件、發票稅控圖片、OA的附件，很多人事資料（包含離職人員檔案）、內部培訓視頻、APP應用圖片數據，大大小小加起來也有小300T。”

“這是要上新存儲的節奏啊！”

“不不不，陳工，你先冷靜一下，目前的主要問題不是存儲容量和性能，現在應用部門經常會找我要這些數據報表，查找某些數據在哪個物理存儲上，或者說部分應用數據因性能問題，需要從一臺存儲遷移到另一臺存儲，這樣的問題很多，而且短期內我也不可能采購一套海量存儲，把所有數據遷移到一臺存儲上，還有招標規范性問題，也不能只招一個品牌存儲......”

☝前面就是我（戴爾科技售前工程師陳森江）最近和用戶電話交流的一個真實場景。

聽完之后，我和他總結了一下，其實祝工的核心需求是一個大量文件類數據的統一管理平臺，即多臺異構存儲上的數據，在邏輯上有一個統一管理，同時不影響原來物理數據存儲架構，還可以給領導看報表，幫助應用快速查找數據，還要在不同物理存儲之間實現數據的快速遷移。

怎么辦呢？

我推薦的是戴爾科技的DataIQ

DataIQ前身是Data Frameworks的Clarity Now，2018年被戴爾科技收購后，經過幾個版本的更新，現被更名為DataIQ。

DataIQ是一個純軟件的異構存儲管理平臺，而且以旁路方式接入用戶環境，它的整個安裝、部署、測試使用等工作都不會影響用戶目前的業務和生產。

所以，用戶可以在任何時候安裝部署DataIQ。

DataIQ主要有三個功能：

• 快速搜索
• 形成報表
• 數據遷移

接下來，我們簡單看一下

DataIQ的架構與應用場景

在拓撲架構上，DataIQ本身是部署在Linux上的一臺Server，支持S3、NFS、CIFS（SMB）和本地掛載。

簡單來說，無論是哪個品牌的存儲、哪種型號，只要通過S3、NFS、CIFS（SMB）協議，以及本地掛載被DataIQ所在的Linux Server掛載（mount），都能被DataIQ進行統一管理，用戶也不用擔心招標采購結果是哪家存儲。

在配置過程中，只要被管理的存儲開通一個賬號給DataIQ Server即可，之后DataIQ Server會掃描并創建索引。如果用戶只想做數據快速搜索、數據報表，那么存儲端需要開通一個只讀賬號；如果要在不同存儲（如NAS存儲到對象存儲）之間做數據遷移，那么存儲給DataIQ Server掛載的賬號需要賦予讀寫權限。

而訪問DataIQ Server的客戶端可以是Windows Client/Linux Client/MacOS client，在訪問方式上可以通過Web瀏覽器、GUI客戶端，也支持CLI命令行接口，以及Python API和Direct RESTful API訪問。

如果用戶的一些應用是基于Python的，那么很多數據查詢，報告甚至數據遷移的工作都可以由應用程序自動完成，可以大大減輕IT管理員的日常數據管理工作量。

最后，我們來看一看DataIQ的三個典型應用場景，也許其中就有適合你的：

01左中括號應用場景一：數據搜索左中括號

就如前面我們的客戶祝工提到的一樣，應用管理員發現他們其中一個應用的部分數據的延時非常高，他們想知道是不是存儲這部分數據的存儲，是性能有問題或有其它故障類原因，于是第一時間找到了祝工，給他一些示例數據。

然而要在4套存儲中快速找到這些數據所在路徑，并不是容易的事。你需要4套存儲不同用戶的數據一套套掛載查看、搜索，而且在上億數量的文件中搜索你想要的其中幾個文件，效率是非常低的。

但是有了DataIQ，結果就完全不同了，祝工只需在DataIQ中搜索，幾秒種就能出結果。

這到底是如何做到的？

DataIQ通過RocksDB將所有存儲上的非結構化數據形成索引，并將索引cache到內存中，以實現快速搜索。在一些用戶的測試中我們發現，在一個60億文件數量級的場景（后端存儲以SAS或NL-SAS為主），如果通過DataIQ去搜索一個文件名，僅需要10-20秒就可以出結果。但是如果普通的Search方式，可能需要幾十天才能完成，還不能完成全局搜索，要分目錄搜索。

所以，結合DataIQ實際使用中更加豐富的數據搜索的條件，使用起來更加的豐富與實用。

DataIQ界面圖

02左中括號應用場景二：快速報表左中括號

在一項項目需求中，IT管理員也經常會被領導或應用開發人員問到：

1. 目前所有存儲各自還有多少空間，不同應用目錄的文件量達到多少了，大小有多少，非法字符有多少？
2. 不同的項目組各自用了多少空間？
3. 不同存儲介質、不同存儲空間的使用成本大概能統計出來嗎？目前的IT投入產出還能成正比嗎？
4. 哪些數據是重復的，能快速做到清理嗎？
5. 能不能針對這些問題出份報表，明天給領導匯報？

… …

在使用DataIQ之前，存儲管理員可能需要通過各種第三方工具或存儲管理工具進行熬夜統計，工作瑣碎復雜，但是使用DataIQ這些都是能夠自動去完成。

03左中括號應用場景三：數據遷移左中括號

在我們日常存儲與數據的運維管理中，因存儲硬件性能問題、存儲生命周期結束或數據歸檔等場景中，IT管理人員都會面臨大量的數據遷移工作，甚至因為應用與IT存儲管理人員之間看問題重點的不同，導致雙方對立的情況也經常會出現。

這些問題在DataIQ的幫助下同樣可以很好解決。

IT管理員可以通過DataIQ分配一個專用的超級用戶給應用開發或維護人員，同時根據需求分配好空間使用權限，如高負載應用分配2T全閃空間（如基于戴爾易安信Isilon F800），低負載分配5T SAS空間（如基于戴爾易安信Unity 480），而歸檔或冷數據分配30T對像存儲空間（如戴爾易安信ECS），這樣應用人員可以根據應用的需求自己進行數據的遷移與歸檔。

這些操作完全不需要接觸后端的物理存儲，存儲管理員只需要做好硬件資源的規劃與維護，大大降低了IT存儲管理員的工作量與責任。

DataIQ對數據遷移支持的對像也非常豐富，可以支持NAS存儲之間的遷移，也可能從NAS到S3（反之亦然），也可以從NAS到amazon等。

DataIQ就是這樣一款純軟件的、旁路的異構存儲管理平臺（任何時候都不影響生產環境），對戴爾易安信存儲空間的管理完全是免費的（非戴爾科技存儲僅按容量收費），這對用戶來說，完全是一個增值服務，你還等等什么呢？

如果您有任何問題

歡迎在下方留言

也可以點擊文末閱讀原文

進入官網詳細了解

 

尊敬的讀者

隨著2021新年的到來

戴爾科技開年第一“惠”盛情來襲

助企業新的一年牛氣沖天！

 

多款服務器、工作站、商用筆記本

等產品限時優惠

 

更有0元試用、現金紅包

等活動等你來參與

 

快來掃描下方二維碼

或點擊文末閱讀原文

了解活動詳情

相關內容推薦：新品：PowerScale里的DataIQ