數據共享 UCloud 分布式文件存儲 UFS 新品發布
隨著互聯網行業的飛速發展,各領域對數據存儲及共享的需求與日俱增。據IDC公布的調查數據顯示,未來全球數據將維持50%左右的增長率,到2020年全球數據總量將達到44ZB(十萬億億字節)。那么問題來了——如此龐大的數據量該如何有效地存儲利用呢?特別是在大數據及分析、動畫制作、web服務和企業工作目錄等業務場景下,需要搭建一套安全、便于擴容、高可靠、簡單易用的文件共享存儲系統。在此背景下,UCloud File System (UFS) 分布式文件存儲應運而生。
三種存儲形態的對比
目前,獨立的存儲形態主要有三種:塊存儲、文件存儲以及對象存儲。
塊存儲就是一塊一塊的硬盤直接掛載在主機上,主要操作對象是磁盤。從存儲架構的角度區分,塊存儲又分為DAS存儲(Direct-Attached Storage,直連式存儲)和SAN存儲(Storage Area Network,存儲區域網絡)。塊存儲一般不會定義磁盤的創建和刪除操作,協議更注重傳輸控制。
文件存儲,指的是基于文件系統上的存儲,主要操作對象是文件和文件夾。我們知道,文件系統有文件夾,子文件夾,形成一個自上而下的文件結構;文件系統下的文件,用戶可以通過操作系統中的應用程序進行讀取、修改、保存等操作。從架構角度分析,文件存儲提供一種NAS(Network Attached Storage,網絡附屬存儲)架構,使得主機的文件系統不僅限于本地的文件系統,還可以連接基于局域網的共享文件系統。文件存儲協議更注重接口的靈活以及訪問權限控制。
對象存儲是面向對象/文件的、海量的互聯網存儲,它也可以直接被稱為“云存儲”,主要操作對象是對象(Object)。對象盡管是文件但已被封裝,因此在對象存儲系統里,不能直接打開/修改文件,但可以像ftp一樣上傳下載文件等。和文件存儲相比,沒有目錄樹的概念,協議更注重簡潔。
以下是對三種存儲形態和存儲架構的示意圖:
在PC時代,用戶的數據大多以文件的形式存在,數據共享也大多是以文件的形式訪問,比如常見的的FTP服務、NFS服務、Samba共享都是屬于典型的文件存儲。幾十個用戶甚至上百用戶的文件存儲共享訪問都可以用NAS存儲加以解決。因此文件存儲的廣泛兼容性和易用性成為很多中小企業存儲市場的不二選擇。UCloud File System (UFS) 分布式文件存儲是一種主要面向UCloud云主機提供簡單、可擴展、高可靠的標準POSIX文件共享訪問方式。在實現存儲空間的在線靈活擴展的同時,也可實現多個計算節點訪問同一個文件系統實例,極大提升了存儲空間的使用效率,降低存儲成本。
分布式文件存儲UFS的三種應用場景
- 負載均衡服務下的數據共享
數據的存儲效率和管理成本一直是困擾客戶的問題之一。在負載均衡服務輔助下的多臺云主機可以共享同一UFS文件空間。不僅極大優化了數據存儲效率,也實現了數據存儲層的高可用。
- 日志匯總存儲及分析
隨著業務規模的不斷發展,云主機的日志數據如何管理成為日常運維遇到的重要議題之一。通過UFS文件共享服務,多臺云主機上的日志數據可以實現快速的匯總存儲及分析。有效降低日志分析與信息統計的時間與空間成本,顯著提升運維效率。
- 企業個人文件存儲
在企業中,不同的組織及用戶所對應的職責和權限不同,用戶可以使用的數據也不同,這給數據運維人員帶來一定的運維復雜性。在為企業客戶提供個人數據訪問權限的同時,管理員可以通過指定目錄和文件的屬主及用戶組,限制不同用戶的訪問權限方式,從而規范用戶的使用行為,極大地促進企業數據管理的合規性。
UFS分布式文件存儲架構解析
UFS存儲整體架構如下:
- 接入集群:主要負責解析NFS協議并實現NFS語義。本模塊還負責KV數據庫模擬文件系統層級結構,與存儲層交互完成數據讀寫定位。該模塊為無狀態設計,可平行拓展;
- 文件索引:文件系統元數據,包括目錄索引與文件索引;
- 存儲接入集群:此模塊提供無狀態的業務轉發。
Set集群:Set為不受可用區限制的分布式存儲集群。每個Set內部都由控制節點(Chunkmaster)與若干存儲節點(Chunkserver)組成。其中Chunkmaster負責整個Set中的集群管理、路由、Chunk調度、發起遷移/修復操作等。Chunkserver負責最終的IO存取,管理對應Chunk遷移/修復等操作。
Set集群架構如下圖:
UFS分布式文件存儲四大特性
- 跨可用區共享掛載
UFS作為一個Region級別的產品,可以將一個UFS實例在多個跨可用區間共享掛載,達到文件在跨可用區的多臺主機間共享的目的。
- 容量與彈性
可根據需求隨時擴容,擴容過程中不會影響IO讀寫請求。相較傳統的文件存儲,UFS極易擴展能快速響應您的業務需求。同時,用戶所需要管理的是適合業務需求的存儲規模,極大地提升了存儲效率,降低管理成本,優化IT架構。
- 安全可靠
UFS通過白名單訪問機制限制實例訪問權限,未在白名單內的云主機無法訪問文件空間,極大提升了數據的安全性。同時,基于分布式的文件存儲架構,支持3份冗余與強一致性,數據持久性可高達99.99999999%,是業務的可靠助手。
- 無縫集成
支持標準的NFS v3文件訪問協議,提供標準POSIX文件系統語義,傳統使用本地文件系統的應用程序可無縫遷移到UFS文件存儲。
面對種類繁多的云存儲產品,到底該如何選擇?這是企業架構存儲基礎設施時不可避免的一個問題。這個問題不僅會影響企業前端業務場景,也會影響后端數據管理,其重要程度毋庸置疑。UFS分布式文件存儲作為UCloud一款數據共享的重要產品,不僅在使用的靈活性和高效性實現了質的提升,同時注重高可用性和持久性,用戶可以方便地將大數據及分析、Web服務和主目錄等業務數據托管在UFS上,極大降低業務環境復雜度(UFS目前已經上線開始公測)。
Tips:
公測階段目前支持區域:北京二
公測***申請容量20T。
目前只支持NFS v3協議,掛載只能通過TCP方式。