初志案例分享:清華大學HPC項目解析
清華大學機械工程系(以下簡稱機械系)于1932年成立,是清華大學最早成立的工科系之一。其擁有多個國家一級重點實驗室,近年來與材料科學、自動化技術、信息技術、激光技術等學科一起合作了眾多科研項目,在學術聲譽、研究水平、研究隊伍、實驗裝備等方面都具有國內領先優勢。
機械系日常的教學和科研項目中需要應用到fluent、Vasp、Gaussian、Ansys等軟件來實現各種高性能計算,因此將產生大量的數據,這對存儲系統在高并發、可靠性、共享性上都提出很高的要求。機械系現有的存儲系統已經不能滿足自身快速發展的需求。
初志A2000集群存儲解決方案
針對機械系高性能計算的需求,初志科技為其提供了一套初志A2000集群存儲解決方案。初志A2000集群存儲解決方案主要由元數據存儲節點及智能存儲節點兩部份組成。
元數據存儲節點用于管理文件系統的元數據(包括文件目錄樹組織、屬性維護、文件操作日志記錄、授權訪問等),管理整個存儲系統的命名空間,對外提供統一的系統映像存儲池。
智能存儲節點用于存儲用戶的實際數據,實現集群存儲功能,主要包括存儲設備管理,網絡設備管理,權限管理等。
初志A2000集群存儲系統采用先進的分布式并行雙群存儲架構,多臺元數據存儲節點和智能存儲節點分離并行工作,大大提高了海量文件的讀寫效率,輕松實現海量數據管理。同時,A2000在高并發性、高可靠性、整合性及擴展性上都有很突出的優勢,很好地滿足了機械系對于高性能計算應用的各項需求。
高性能計算應用的持續運行,將產生越來越多的數據,這需要存儲系統擁有足夠的容量來滿足快速增長的需求。初志A2000集群存儲系統單卷即可支持PB級的存儲空間,幫助用戶高效地管理上百億個甚至更多的文件。同時,系統還可實現文件全局命名空間,所有的計算節點都可看到一致的文件系統視圖(管理員也可以通過設置使用權限,讓使用者只能看到自己的應用數據),這種數據的全局共享性可以加強同一應用不同服務器之間的協作,提高了應用的服務效率。
高并發
在機械系的存儲環境中,應用種類多,并發訪問的程度較高,這給存儲系統帶來很大的壓力。A2000集群存儲系統通過多臺存儲節點同時存取數據的方法,滿足了高并發訪問的需求。在應用服務器端,當應用程序向存儲系統上寫文件時,文件將分片存放到多臺存儲節點上;在讀文件時,系統則并發地從多個服務器上讀取數據。如此一來,大量的數據I/O請求被分散到了多臺存儲節點上,聚合帶寬由多臺的存儲節點上的帶寬相加而成,使得所有的存儲節點上的磁盤性能和網絡帶寬都能得到充分的利用,克服了原有系統單一出口點所造成的性能瓶頸,很好地實現用戶的高并發訪問需求。
高可靠
A2000集群存儲系統內置一套完整的故障恢復流程,利用副本技術使得數據出現故障時能自動恢復,有效地消除了單點故障。對于用戶而言,任何硬件故障都無需進行手動處理,他們唯一的管理工作的就是在容量不夠的時候添加硬件和更換損壞的硬件,保證了A2000集群存儲系統能夠不間斷地提供穩定的存儲服務。
易整合與易擴展
A2000集群存儲系統支持現有的異構存儲系統,利用***的管理模塊與傳統存儲結構實現無縫連接。同時,它也能夠無縫兼容多種不同的操作系統。另外,A2000集群存儲系統可以支持動態地擴展存儲容量,即利用配置工具動態添加存儲節點以擴大系統的容量和規模(期間無需中斷任何應用),而且隨著存儲節點數據的增多,整套系統的聚合帶寬也會線性的增長,實現自動負載均衡,完全可以滿足業務不斷發展所產生的容量和性能需求。
易管理
除此以外,初志A2000集群存儲系統配有簡單易用的圖形化管理和監控界面,支持用戶通過專用的安全通道進行遠程配置和全系統監控,智能地發現各類軟硬件故障并統一匯總,保證用戶能夠及時處理故障,同時也減少了他們查找故障的工作量。
初志A2000集群存儲解決方案幫助清華大學機械系建立了一套完善的、高效的高性能計算存儲系統,得到了用戶的認可與好評。通過使用初志A2000集群存儲解決方案,清華大學機械系不僅在存儲使用率、高并發性、高可靠性等方面都得到了較大提升,有了更強大的計算能力,而且通過存儲系統強大的整合性及易管理性的促進下,也有效降低了采購成本及IT運營成本。