以技術(shù)創(chuàng)新推動(dòng)數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展,西部數(shù)據(jù)OpenFlex Data24開(kāi)啟AI時(shí)代數(shù)據(jù)存儲(chǔ)新范式
原創(chuàng)俗話(huà)說(shuō),天下大勢(shì),分久必合,合久必分。任何技術(shù)的發(fā)展,都會(huì)在不同的時(shí)期、不同的應(yīng)用場(chǎng)景下發(fā)生改變。
具體到數(shù)據(jù)存儲(chǔ)領(lǐng)域,從集中式存儲(chǔ)、分布式存儲(chǔ),再到軟件定義存儲(chǔ),每次新技術(shù)的變遷,都與當(dāng)前的應(yīng)用場(chǎng)景密不可分。在人工智能成為時(shí)代潮流的今天,傳統(tǒng)的集中式存儲(chǔ)所采用的存算一體的架構(gòu)面臨著資源利用率低、擴(kuò)展成本高等問(wèn)題,已經(jīng)很難滿(mǎn)足海量數(shù)據(jù)的分析、存儲(chǔ)需求,存算分離的技術(shù)架構(gòu)成為AI時(shí)代的最佳解決方案。
在2025年4月9日-11日召開(kāi)的第十三屆中國(guó)電子信息博覽會(huì)(CITE 2025)及2025AI算力產(chǎn)業(yè)大會(huì)上,憑借其卓越的技術(shù)創(chuàng)新和優(yōu)異的性能表現(xiàn),西部數(shù)據(jù)OpenFlex? Data24 4200全閃存儲(chǔ)平臺(tái)斬獲CITE2025創(chuàng)新獎(jiǎng),充分體現(xiàn)了西部數(shù)據(jù)面向AI時(shí)代打造的存儲(chǔ)平臺(tái)所展現(xiàn)出來(lái)的強(qiáng)大技術(shù)實(shí)力。
AI時(shí)代的存儲(chǔ)變革:為何存算分離成為新趨勢(shì)
我們知道,數(shù)據(jù)是驅(qū)動(dòng)AI模型訓(xùn)練與推理的核心燃料。隨著大模型參數(shù)量的指數(shù)級(jí)增長(zhǎng)(如GPT-4參數(shù)量達(dá)萬(wàn)億級(jí))、端側(cè)AI設(shè)備的普及,以及實(shí)時(shí)分析需求的激增,傳統(tǒng)存算一體架構(gòu)的局限性逐漸顯露。
以輔助駕駛測(cè)試為例,每天將會(huì)產(chǎn)生60TB的數(shù)據(jù)量,完整測(cè)試周期數(shù)據(jù)量可達(dá)數(shù)百PB,且需存儲(chǔ)30年以上。傳統(tǒng)存算一體架構(gòu)下,存儲(chǔ)與計(jì)算資源耦合,難以獨(dú)立擴(kuò)展。
在西部數(shù)據(jù)發(fā)布的《Why Your Organization Should Consider Composable Infrastructure for Greater Flexibility and Agility》的白皮書(shū)中指出,盡管融合和超融合相比傳統(tǒng)硬件設(shè)計(jì)有了顯著改進(jìn),但企業(yè)在使用集成硬件解決方案時(shí)仍然面臨挑戰(zhàn)。例如,軟件和硬件必須來(lái)自同一供應(yīng)商,這使用戶(hù)被鎖定在該供應(yīng)商及其有限的產(chǎn)品中。
存算分離的數(shù)據(jù)存儲(chǔ)架構(gòu),是通過(guò)將存儲(chǔ)層(如對(duì)象存儲(chǔ)、分布式文件系統(tǒng))與計(jì)算層(如GPU集群、容器化服務(wù))解耦,實(shí)現(xiàn)獨(dú)立擴(kuò)展與資源優(yōu)化。在筆者看來(lái),存算分離的數(shù)據(jù)存儲(chǔ)架構(gòu),其核心優(yōu)勢(shì)是擁有非常靈活的擴(kuò)展能力。
由于實(shí)現(xiàn)了計(jì)算資源與存儲(chǔ)資源的完全分離,企業(yè)就能夠按照實(shí)際需求,靈活地進(jìn)行計(jì)算資源與存儲(chǔ)容量的擴(kuò)展,這樣不但能夠很好地降低數(shù)據(jù)存儲(chǔ)的成本,還可以實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的彈性擴(kuò)容。以AI應(yīng)用為例,數(shù)據(jù)往往需要進(jìn)行多次迭代和優(yōu)化,存算分離架構(gòu)能夠高效地處理這些需求,同時(shí)降低數(shù)據(jù)傳輸?shù)难舆t和成本。
實(shí)際上,隨著存儲(chǔ)介質(zhì)、高速網(wǎng)絡(luò)、存儲(chǔ)協(xié)議等技術(shù)的發(fā)展,存算分離的數(shù)據(jù)存儲(chǔ)架構(gòu)在性能上也有了很大的提升。例如,通過(guò)智能緩存與元數(shù)據(jù)優(yōu)化,抵消網(wǎng)絡(luò)延遲,提升系統(tǒng)的整體性能。
多項(xiàng)創(chuàng)新技術(shù)加持,為AI應(yīng)用提供最優(yōu)解
作為行業(yè)領(lǐng)先的存儲(chǔ)解決方案供應(yīng)商,西部數(shù)據(jù)始終致力于技術(shù)創(chuàng)新與產(chǎn)品研發(fā)。面對(duì)AI時(shí)代的存儲(chǔ)變革,西部數(shù)據(jù)推出的OpenFlex Data24 4200 NVMe-oF存儲(chǔ)平臺(tái),通過(guò)多項(xiàng)創(chuàng)新技術(shù),實(shí)現(xiàn)了計(jì)算與資源的靈活配置與優(yōu)化利用,即滿(mǎn)足了AI模型訓(xùn)練與推理對(duì)于存儲(chǔ)性能的需求,又降低了海量數(shù)據(jù)的存儲(chǔ)成本,成為AI時(shí)代最佳的存儲(chǔ)解決方案。
在性能方面,西部數(shù)據(jù)OpenFlex Data24 4200 NVMe-oF存儲(chǔ)平臺(tái)擁有與本地NVMe SSD相近的性能表現(xiàn)。首先,OpenFlex Data24 4200 NVMe-oF存儲(chǔ)平臺(tái)采用了西部數(shù)據(jù)自研的RapidFlex? A2000芯片,顯著提高了數(shù)據(jù)訪(fǎng)問(wèn)速度和I/O性能,進(jìn)一步減輕了CPU的負(fù)擔(dān)。由于搭載西部數(shù)據(jù)的RapidFlex A2000 Fabric Bridge設(shè)備,為此提供了12個(gè)100GbE端口,能夠支持與主機(jī)采用RDMA或NVMe over TCP連接。
其次,OpenFlex Data24 4200整個(gè)機(jī)箱采用PCIe Gen4標(biāo)準(zhǔn) ,在以太網(wǎng)架構(gòu)中能夠充分發(fā)揮每塊SSD的性能,并支持雙端口PCIe Gen4 NVMe SSD 實(shí)現(xiàn)盤(pán)到網(wǎng)絡(luò)端口無(wú)性能瓶頸。
在可擴(kuò)展方面,OpenFlex Data24 4200 NVMe-oF存儲(chǔ)平臺(tái)支持存算分離與軟件定義存儲(chǔ)(SDS)的理念,將計(jì)算資源與存儲(chǔ)資源進(jìn)行物理或邏輯上的分離,以此實(shí)現(xiàn)兩者的獨(dú)立管理和優(yōu)化,打破了傳統(tǒng)存儲(chǔ)架構(gòu)的局限性,使得計(jì)算和存儲(chǔ)可以獨(dú)立地進(jìn)行擴(kuò)展和優(yōu)化,從而提高了資源的利用率和系統(tǒng)的靈活性。
由于OpenFlex Data24 4200平臺(tái)支持軟件定義的存儲(chǔ)架構(gòu),因此提供了開(kāi)放、靈活的存儲(chǔ)管理功能。通過(guò)軟件定義的方式,用戶(hù)可以根據(jù)業(yè)務(wù)需求,動(dòng)態(tài)地配置和管理存儲(chǔ)資源,實(shí)現(xiàn)資源的靈活調(diào)度和優(yōu)化。這一特性不僅降低了存儲(chǔ)管理的復(fù)雜度,還提高了存儲(chǔ)系統(tǒng)的可擴(kuò)展性和適應(yīng)性。
不難發(fā)現(xiàn),面對(duì)企業(yè)的AI應(yīng)用,OpenFlex Data24 4200平臺(tái)的高性能與低延遲特性,為深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等AI應(yīng)用提供了強(qiáng)大的存儲(chǔ)支持。通過(guò)存算分離與軟件定義存儲(chǔ)的架構(gòu),AI應(yīng)用可以高效地訪(fǎng)問(wèn)和處理大規(guī)模數(shù)據(jù)集,加速模型的訓(xùn)練和推理過(guò)程。同時(shí),平臺(tái)的開(kāi)放性與兼容性,使得AI應(yīng)用可以輕松地與其他系統(tǒng)進(jìn)行集成和協(xié)同工作,進(jìn)一步提升了AI應(yīng)用的效率和效果。
以開(kāi)放組合式架構(gòu)標(biāo)準(zhǔn),賦能企業(yè)構(gòu)建高度靈活的基礎(chǔ)設(shè)施
前文提到,存算分離+軟件定義是AI時(shí)代企業(yè)構(gòu)建數(shù)據(jù)存儲(chǔ)平臺(tái)的重要因素,而構(gòu)建存算分離+軟件定義的存儲(chǔ)平臺(tái),則必須以開(kāi)放組合式架構(gòu)標(biāo)準(zhǔn)為基石。
實(shí)際上,OpenFlex便是西部數(shù)據(jù)通過(guò)分解磁盤(pán)和閃存與服務(wù)器連接到可擴(kuò)展結(jié)構(gòu)實(shí)現(xiàn)開(kāi)放組合的基礎(chǔ)架構(gòu),旨在將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)結(jié)構(gòu)資源分解為可用于按需分配(即“可組合”)的共享資源池。由于可組合性發(fā)生在軟件級(jí)別,分解發(fā)生在硬件級(jí)別,因此使用NVMe over-Fabric,能夠大大提高數(shù)據(jù)中心的計(jì)算和存儲(chǔ)利用率、性能和靈活性。
OpenFlex Data24作為存儲(chǔ)設(shè)備中的NVMe oF目標(biāo),設(shè)備通過(guò)以太網(wǎng)從網(wǎng)絡(luò)客戶(hù)端接收NVMe oF命令,并將其轉(zhuǎn)換為NVMe命令,并將它們傳輸?shù)?span>PCIe連接的NVMe設(shè)備(SSD)。OpenFlex Data24同時(shí)支持RDMA(RoCE v2)和NVMe Over TCP連接,每個(gè)傳輸協(xié)議都完全在芯片級(jí)邏輯中實(shí)現(xiàn),在高速數(shù)據(jù)路徑中沒(méi)有任何固件代碼,完整的基于狀態(tài)機(jī)的實(shí)現(xiàn)提供了極低的延遲性能,最大限度地減少了每I/O網(wǎng)絡(luò)開(kāi)銷(xiāo)。
根據(jù)Grand View Research的報(bào)告,2024年全球可組合基礎(chǔ)設(shè)施市場(chǎng)規(guī)模估計(jì)為92.3億美元,預(yù)計(jì)從2025年到2030年以50.3%的復(fù)合年增長(zhǎng)率。在中國(guó)市場(chǎng),雖然有一些企業(yè)在可組合基礎(chǔ)設(shè)施領(lǐng)域有所布局和發(fā)展,但國(guó)內(nèi)市場(chǎng)該架構(gòu)還屬于初期發(fā)展階段,后期市場(chǎng)預(yù)計(jì)呈現(xiàn)爆發(fā)性增長(zhǎng)。
據(jù)筆者了解,由西部數(shù)據(jù)管理的開(kāi)放可組合兼容性實(shí)驗(yàn)室(OCCL)所做的出色工作推動(dòng)了可組合基礎(chǔ)架構(gòu)作為可靠技術(shù)的普及,幫助企業(yè)IT和基礎(chǔ)架構(gòu)買(mǎi)家自信地評(píng)估、選擇、集成和管理跨硬件基礎(chǔ)架構(gòu)的可組合基礎(chǔ)架構(gòu)方面發(fā)揮著不可或缺和至關(guān)重要的作用。
寫(xiě)在最后:
人工智能在賦能企業(yè)創(chuàng)新變革的同時(shí),也在推動(dòng)著IT基礎(chǔ)架構(gòu)的升級(jí)。存算分離作為AI時(shí)代的新趨勢(shì),具有顯著的技術(shù)優(yōu)勢(shì)和實(shí)際應(yīng)用價(jià)值。通過(guò)實(shí)現(xiàn)計(jì)算和存儲(chǔ)資源的獨(dú)立管理和優(yōu)化,存算分離架構(gòu)能夠提高資源利用率、降低運(yùn)營(yíng)成本、提升系統(tǒng)性能和增強(qiáng)系統(tǒng)靈活性。同時(shí),與可組合基礎(chǔ)架構(gòu)的結(jié)合進(jìn)一步提升了存算分離架構(gòu)的潛力和應(yīng)用價(jià)值。
作為全球領(lǐng)先的數(shù)據(jù)存儲(chǔ)解決方案提供商,西部數(shù)據(jù)通過(guò)對(duì)行業(yè)需求的深耕來(lái)驅(qū)動(dòng)技術(shù)創(chuàng)新與產(chǎn)品研發(fā),OpenFlex Data24 4200 NVMe-oF存儲(chǔ)平臺(tái)正是西部數(shù)據(jù)針對(duì)當(dāng)前數(shù)據(jù)中心挑戰(zhàn)而推出的重磅產(chǎn)品,實(shí)現(xiàn)了計(jì)算與存儲(chǔ)資源的靈活配置與優(yōu)化利用。展望未來(lái),西部數(shù)據(jù)將持續(xù)致力于開(kāi)發(fā)和提供先進(jìn)、開(kāi)放且兼容的可組合基礎(chǔ)架構(gòu)解決方案,以更加成熟的技術(shù)和產(chǎn)品,致力于成為企業(yè)數(shù)字化轉(zhuǎn)型的最佳選擇。