生成式AI和各種大模型應用，對算力提出了更高的要求，CPU+GPU+NPU+DPU的異構計算模式，已經很好地解決了算力瓶頸的問題。不過，生成式AI和各種大模型應用，對存儲也提出了更大的挑戰。

生成式AI和大模型應用帶來的存儲挑戰

我們知道，大模型有著巨大的參數，對存儲的讀寫性能、訪問帶寬和存儲容量等都提出了更高的要求。具體來看，生成式AI和大模型應用對存儲提出了以下挑戰：

一是更高的訪問帶寬。隨著AI大模型訓練和推理需求的增長，對存儲系統的帶寬提出了更高的要求，以滿足大量數據的快速傳輸需求。

二是更高的性能和更低的延遲：AI應用需要快速訪問和處理數據，因此存儲解決方案必須具有更高的性能，以此來降低數據讀寫延遲，以減少數據訪問時間。

三是更高的存儲容量：AI模型訓練和深度學習應用需要處理的數據量巨大，現在參數已經達到萬億規模，很快就會增長到十億規模，能力越強需要的參數量就越大，需要的存儲容量就越大。因此，存儲系統必須提供足夠的容量來存儲這些數據。

四是高并發訪問能力：AI訓練通常涉及多個GPU或多個節點并行處理，存儲系統需要支持高并發訪問，確保數據在存儲、CPU、GPU之間快速地進行傳輸，提高數據處理的效率。

五是擴展性能力：AI技術不斷進步，存儲系統必須面向未來構建良好的擴展性，以適應數據量快速增長的存儲需求，為技術的發展提供有力保障。

六是數據安全與隱私保護：在處理大量敏感數據時，存儲系統需要提供高級的數據安全和隱私保護措施，以此來確保數據的絕對安全，并滿足數據隱私保護的需求。

七是數據管理與優化：AI應用需要有效的數據管理策略，包括數據的組織、索引和優化，以提高數據訪問速度和整體性能。與此同時，降低數據存儲和數據管理的復雜度和存儲成本，以達到最優的成本效益。

如何應用生成式AI和大模型應用帶來的存儲難題

面對生成式AI和各種大模型應用的落地，存儲系統必須進行變革，積極擁抱創新技術，以此來滿足容量、性能、帶寬等需求。隨著CXL、HBM、3D NAND、PCI-E Gen5等技術的出現，存儲墻的問題也將得到有效地解決。

首先，3D NAND可以解決海量數據的存儲需求，并提供大模型應用所需的性能。近年來，在3D NAND技術的突破之下，采用QLC技術的SSD容量大幅增長。例如，Solidigm采用192層3D NAND的技術QLC SSD已經達到61TB，SK海力士的192層QLC閃存不僅容量達到了61TB，而且讀取速度達到了7000MB/s，寫入速度也有3300MB/s。

雖然很多用戶對于QLC的性能和壽命提出了質疑，但主控廠商也在通過技術創新，來提高QLC NAND的壽命。例如，聯蕓科技Agile ECC3技術引入4K LDPC，LDPC軟解碼能力的提升保障了最惡化情況下的閃存數據可靠性，極大地延長了SSD的使用壽命。

可以說，隨著數據量的爆炸式增加，對存儲容量的需求越來越高。而QLC作為存儲密度更高的技術，顯然更為適合應對大規模數據存儲的需求，不但能夠存儲更多的數據量，而且還能夠有效地降低存儲的功耗和占地空間，為企業提供更好的TCO。

目前，Solidigm采用四層單元最大容量為61.44TB的SSD已經上市銷售，美光基于232層技術的6500系列30TB SSD也已經應用于數據中心當中。 SK hynix除了計劃推出60TB eSSD之外，還預計未來SSD會從36TB發展到128TB。存儲容量的增加，將會進一步拉低SSD成品的價格，進一步加速了機械硬盤的淘汰速度（目前最大的機械硬盤容量為24TB）。

其次，CXL（高速互連技術）的發展，也解決了數據傳輸的難題，為大模型應用提供了更快、更加靈活的解決方案。作為一種高速互連技術，它以更高的帶寬解決了數據傳輸難題，為人工智能提供了更快、更靈活的數據傳輸解決方案。CXL一方面實現了設備到CPU之間的互聯，實現了存儲計算分離。另一方面，CXL允許CPU以低延遲和高帶寬訪問連接設備上更大的內存池，從而擴展內存，以此來增加AI/ML應用程序的內存容量和性能。

與PCIe相比，CXL在帶寬方面有著更強的性能表現。其中，CXL2.0支持32GT/s的數據傳輸速率，CXL3.支持64GT/s的數據傳輸速率，這使得CXL能夠更有效地滿足處理大規模數據和高性能計算工作負載的需求。由于CXL能夠在PCIe或CXL模式下運行，利用CXL靈活的處理器端口可以在CIe5.0中實現32GT/s的數據速率，在PCIe6.0中實現高達 64GT/s的數據速率，為人工智能應用提供了更加靈活的功能。

除此之外，CXL允許不同設備之間共享內存資源，能夠更好地提高內存利用率，降低系統成本。另外，CXL支持多種設備之間的互連，包括CPU、GPU、FPGA和存儲設備等，這為構建異構計算環境提供了便利。

作為一個開放的行業標準組織，CXL旨在創建技術規范，促進數據中心加速器和其他高速改進的開放生態系統。目前 CXL 已經發布了CXL 1.0、CXL 2.0和CXL 3.0三個版本。其中，最新的CXL 3.0版本基于PCIe 6.0開發，支持比CXL 2.0更高的帶寬和更低的延遲，并增加了設備熱插拔、電源管理和錯誤處理等新功能。

目前，英特爾至強CPU從第四代至強可擴展處理器開始支持CXL，并且在后續每代至強 CPU中都支持了最新的CXL協議，并提供了Flat 1LM、Heterogenous interleaving、2LM等多種創新內存應用模式。阿里云推出了業界首個基于CXL Switch內存池的業務系統解決方案，通過CXL Switch Box系統，提供大容量、高性能、靈活性強的池化內存系統。

浪潮信息在CXL2.0階段持續進行CXL交換技術研究，提出大規模內存資源解耦重構技術方案，開發完成內存池化原型系統，以CXL交換單元為核心解耦重構服務器架構，軟件定義實現內存資源靈活調用，實現多主機內存資源共享，單系統最大可擴展16TB池化內存資源，相比傳統服務器內存容量和帶寬均擴大2倍，滿足AI計算、云場景、內存數據庫多場景應用需求。

正是由于高帶寬、低延遲、內存共享、靈活性、兼容性等方面的優勢，CXL為高性能計算領域帶來了更好的選擇，能夠很好地滿足生成式AI應用中數據讀寫的帶寬要求。

最后，HBM也解決了DRAM容量小、傳輸慢的問題，為GPU帶來了更高的容量和更快的數據傳輸。與DRAM相比，HBM不但擁有容量上的優勢，能夠同時存儲更多的數據，而且擁有更高的帶寬，能夠大幅提升數據的讀寫速度。自2013年第一代HBM誕生以來，隨著技術的不斷發展，HBM也經歷了HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序迭代，最新的HBM3E是HBM3的擴展版本，速率達到了8Gbps。

作為HBM（高帶寬存儲器）的擴展版本，HBM3e采用了垂直互連多個DRAM芯片的設計。相較于傳統的DRAM產品，HBM3E在數據處理速度上顯著提高。根據SK海力士公布的數據，HBM3E最高每秒可處理1.15TB的數據，相當于在一秒鐘內即可處理230多部5GB大小的全高清電影。這種高性能的數據處理能力使得HBM3E成為人工智能內存產品當中的關鍵規格。

寫在最后：

技術的發展正在推動著存儲技術的變革，隨著QLC、CXL和HBM等先進技術的不斷突破和發展，生成式AI和大模型應用面臨的存儲墻問題將迎刃而解！