一輛自動(dòng)駕駛汽車滿負(fù)荷測(cè)試情況下，每天可以產(chǎn)生數(shù)TB甚至數(shù)十TB的數(shù)據(jù)量；一家智慧工廠每天產(chǎn)生的數(shù)據(jù)量可達(dá)PB級(jí)。移動(dòng)App的全球下載量已經(jīng)超過2300億次，還有大量 AR/VR終端設(shè)備、5G 基站，都在源源不斷的采集和產(chǎn)生新的數(shù)據(jù)。

數(shù)字時(shí)代，數(shù)據(jù)的量級(jí)呈指數(shù)級(jí)增長(zhǎng)。并且，自動(dòng)駕駛、物聯(lián)網(wǎng)、AR、5G等典型場(chǎng)景所產(chǎn)生的數(shù)據(jù)主要以非結(jié)構(gòu)化數(shù)據(jù)為主，包括圖片、音頻、視頻、日志等。這些數(shù)據(jù)如果僅僅是存儲(chǔ)起來，沒有任何用處，只有“流動(dòng)起來”，讓數(shù)據(jù)在不同階段為數(shù)字化業(yè)務(wù)產(chǎn)生不同的價(jià)值，數(shù)據(jù)才是有用的。

在數(shù)據(jù)流動(dòng)的完整鏈條中，從最初的采集、處理到歸檔、再利用、銷毀，都不可避免地涉及到了存儲(chǔ)與大數(shù)據(jù)技術(shù)、存儲(chǔ)與 AI 計(jì)算技術(shù)的結(jié)合，只有如此，才讓數(shù)據(jù)更高效地被捕獲、索引、分析和加工，從而實(shí)現(xiàn)數(shù)據(jù)層面的點(diǎn)石成金。這也正是青云科技存儲(chǔ)產(chǎn)品線多年來一直努力的方向。

十年積累，打造兩款核心存儲(chǔ)產(chǎn)品

青云科技在2015年就推出了對(duì)象存儲(chǔ)，之后又推出了NeonSAN塊存儲(chǔ)，以及文件存儲(chǔ)。經(jīng)過十年的演進(jìn)，目前，青云存儲(chǔ)QingStor 產(chǎn)品線主要演進(jìn)為兩款核心產(chǎn)品：一是 QingStor NeonSAN，二是 QingStor U10000。

QingStor NeonSAN，主要面向的場(chǎng)景是云盤、數(shù)據(jù)庫(kù)以及虛擬化存儲(chǔ)資源池場(chǎng)景的應(yīng)用。作為一款分布式塊存儲(chǔ)，其整個(gè)設(shè)計(jì)原則是為 I/O 極致性能而設(shè)計(jì)的：最短I/O 時(shí)延可以控制在50微秒左右；只需要3臺(tái)NeonSAN的節(jié)點(diǎn)，就可以實(shí)現(xiàn)100萬的 IOPS。在金融行業(yè)多個(gè)企業(yè)客戶中，青云科技的存儲(chǔ)產(chǎn)品已經(jīng)積累了多年的、穩(wěn)定運(yùn)行 Oracle RAC集群的實(shí)踐經(jīng)驗(yàn)。

QingStor U10000 主要面向非結(jié)構(gòu)化數(shù)據(jù)的場(chǎng)景，包括各種影像數(shù)據(jù)、音視頻數(shù)據(jù)、數(shù)據(jù)湖、大數(shù)據(jù)、物聯(lián)網(wǎng)等場(chǎng)景。青云科技存儲(chǔ)產(chǎn)品總監(jiān)馮相東介紹說，U10000產(chǎn)品設(shè)計(jì)的初衷就是幫助客戶更好地實(shí)現(xiàn)海量數(shù)據(jù)的價(jià)值挖掘，其核心特點(diǎn)包括：同時(shí)提供對(duì)象、文件、大數(shù)據(jù)接口，不同協(xié)議之間實(shí)現(xiàn)數(shù)據(jù)無損訪問互通；單存儲(chǔ)桶支持 100 多億個(gè)對(duì)象，并且性能不會(huì)隨之下降。

“我們沒有用一種架構(gòu)同時(shí)滿足結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)場(chǎng)景。因?yàn)榇鎯?chǔ)架構(gòu)是沒有銀彈的，沒有哪一種架構(gòu)能夠同時(shí)滿足極致的性能和海量數(shù)據(jù)吞吐、計(jì)算。青云科技希望通過專業(yè)的存儲(chǔ)分工，來更好的服務(wù)專業(yè)場(chǎng)景。”馮相東表示。

更懂算力的存儲(chǔ)平臺(tái)，真正自研的中國(guó)存儲(chǔ)

青云科技的存儲(chǔ)產(chǎn)品從誕生開始就服務(wù)于青云的云計(jì)算通用平臺(tái)，包括公有云、私有云平臺(tái)，歷經(jīng)十年大規(guī)模通用計(jì)算平臺(tái)的考驗(yàn)。青云存儲(chǔ)是包括 KubeSphere企業(yè)級(jí)容器平臺(tái)在內(nèi)的容器和云原生平臺(tái)的底層存儲(chǔ)，擁有基于 K8s通用平臺(tái)的生產(chǎn)積累和實(shí)踐。青云存儲(chǔ)還支撐了全新推出的超算平——EHPC，承擔(dān)了高效穩(wěn)定的存儲(chǔ)底座的角色。在大數(shù)據(jù)、IoT物聯(lián)網(wǎng)等場(chǎng)景，青云存儲(chǔ)有能力提供豐富的API和SDK選擇，更好地對(duì)接算力層面的其他生態(tài)。

源于對(duì)技術(shù)的追求，同時(shí)也懷揣著中國(guó)存儲(chǔ)服務(wù)數(shù)字中國(guó)的愿景，青云存儲(chǔ)產(chǎn)品是真正自研的中國(guó)存儲(chǔ)。青云存儲(chǔ) QingStor 的兩款核心產(chǎn)品QingStor NeonSAN 和 QingStor U10000 都是自主設(shè)計(jì)，沒有繼承任何開源的架構(gòu)，不存在任何知識(shí)產(chǎn)權(quán)的風(fēng)險(xiǎn)。自主研發(fā)使得技術(shù)百分百可控，不存在技術(shù)盲區(qū)，且具備處理任何復(fù)雜問題的能力。

存得穩(wěn)、算得快、管得好的QingStor U10000

QingStor U10000并不是一款全新的產(chǎn)品，而是青云科技存儲(chǔ)產(chǎn)品線在非結(jié)構(gòu)化數(shù)據(jù)，包括對(duì)象、文件存儲(chǔ)上的一次產(chǎn)品全面升級(jí)。  

  相較于之前的QingStor對(duì)象存儲(chǔ)和文件存儲(chǔ)，QingStor U10000主要在以下四個(gè)方面有明顯的提升。

（一）支撐海量數(shù)據(jù)存儲(chǔ)的能力，同時(shí)保證提供卓越的性能

存儲(chǔ)集群要做到線性擴(kuò)展才能支撐海量數(shù)據(jù)存儲(chǔ)。U10000的元數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)服務(wù)都采用全分布式架構(gòu)，最小規(guī)模3節(jié)點(diǎn)起，可以橫向擴(kuò)展大規(guī)模數(shù)據(jù)存儲(chǔ)集群，并且在所有節(jié)點(diǎn)規(guī)模增長(zhǎng)的時(shí)候均可以保證性能和容量的線性增長(zhǎng)。

U10000 提供靈活的EC配比，用戶可以根據(jù)業(yè)務(wù)的實(shí)際情況選擇合適的配比。同時(shí)，U10000在保證線性擴(kuò)展和高性價(jià)比EC集群的基礎(chǔ)上，還能為通用場(chǎng)景，包括海量小文件場(chǎng)景提供卓越的I/O性能。比如，單桶單目錄能支持百億級(jí)小文件存儲(chǔ)，并且能做到性能不衰減。在編程語言層面，U10000采用的Rust語言給予存儲(chǔ)性能安全方面更優(yōu)的保障。

（二）多協(xié)議無損互通，實(shí)現(xiàn)數(shù)據(jù)訪問和高效流通

與其他一些通過格式轉(zhuǎn)化的技術(shù)來實(shí)現(xiàn)協(xié)議互通的分布式存儲(chǔ)廠商不同，U10000在底層部署了統(tǒng)一的索引架構(gòu)，提供多種層次的能力。存儲(chǔ)和讀取數(shù)據(jù)之間不需要經(jīng)過格式轉(zhuǎn)化，不存在性能和語義的損失。U10000在文件、對(duì)象、HDFS等存儲(chǔ)形態(tài)中都提供了多種存儲(chǔ)接口的支持，如POSIX、SMB、NFS、FTP、HDFS、S3、SDK等，可以滿足常見應(yīng)用。

（三）算力的無縫對(duì)接，讓數(shù)據(jù)點(diǎn)石成金

得益于多年的積累，U10000 具備豐富的數(shù)據(jù)處理的功能特性，能夠提供一系列完善的API、SDK，可以輕松地對(duì)接大數(shù)據(jù)平臺(tái)、數(shù)據(jù)處理的框架和服務(wù)，實(shí)現(xiàn)數(shù)據(jù)和算力的高效結(jié)合。

（四）多維的安全機(jī)制保障客戶數(shù)據(jù)穩(wěn)如泰山

首先在元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)的分層設(shè)計(jì)方面，U10000采用在元數(shù)據(jù)副本之間做數(shù)據(jù)強(qiáng)一致性的處理，在數(shù)據(jù)層面提供了副本和多副本的策略，并且有自校驗(yàn)機(jī)制和增量修復(fù)機(jī)制，保障數(shù)據(jù)的安全。二是多重訪問安全機(jī)制。包括多租戶訪問隔離，基于用戶、資源、訪問行為或者訪問IP的安全訪問機(jī)制，以及存儲(chǔ)產(chǎn)品本身的高級(jí)特性，如版本管理、WORM、日志歸檔等存儲(chǔ)的高級(jí)特性。三是智能預(yù)警機(jī)制。智能預(yù)警機(jī)制可以支持對(duì)所有資源做智能監(jiān)控，對(duì)關(guān)鍵資源做出提前預(yù)警，比如硬盤、網(wǎng)卡、存儲(chǔ)節(jié)點(diǎn)等。四是功能服務(wù)的運(yùn)維監(jiān)控平臺(tái)。在運(yùn)維監(jiān)控平臺(tái)里，U10000 也可以提供資源管理、配置管理、告警、日志、監(jiān)控等一系列的統(tǒng)一管理功能。

從應(yīng)用場(chǎng)景的角度，為客戶提供完整的解決方案

在互聯(lián)網(wǎng)體檢行業(yè)，青云科技為慈銘體檢提供了業(yè)務(wù)承載平臺(tái)，使用了底層為QingStor 高性能塊存儲(chǔ)平臺(tái)的云易捷超融合平臺(tái)，與U10000的對(duì)象存儲(chǔ)做對(duì)接，實(shí)現(xiàn)了PACS系統(tǒng)的實(shí)時(shí)調(diào)取和長(zhǎng)期存儲(chǔ)。同時(shí)，青云科技與該企業(yè)也在聯(lián)合探索基于U10000 協(xié)議互通的能力，實(shí)現(xiàn)對(duì)象和文件可互通，為 AI醫(yī)療相關(guān)的應(yīng)用提供更多的數(shù)據(jù)價(jià)值。

在制造業(yè)，青云科技與蘇州華興源創(chuàng)合作完成了物聯(lián)網(wǎng)與邊緣計(jì)算整體方案。青云科技為華興源創(chuàng)部署了包括 U10000 在內(nèi)的青云全棧存儲(chǔ)能力，其中，U10000的對(duì)象存儲(chǔ)和文件存儲(chǔ)是核心，NeonSAN 塊存儲(chǔ)支持傳統(tǒng)業(yè)務(wù)，整體形成數(shù)據(jù)存儲(chǔ)的中臺(tái)。分布式存儲(chǔ)規(guī)避了很多問題，如海量數(shù)據(jù)存儲(chǔ)膨脹帶來的擴(kuò)容問題，數(shù)據(jù)分析帶來的數(shù)據(jù)流通性問題。在這個(gè)案例中，大數(shù)據(jù)分析、展現(xiàn)、集中監(jiān)控等操作對(duì)存儲(chǔ)的性能都提出了很高的要求。基于青云U10000非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲(chǔ)平臺(tái)，數(shù)據(jù)流通變得更簡(jiǎn)單了，數(shù)據(jù)的價(jià)值得到了真正的發(fā)揮。

青云科技產(chǎn)品技術(shù)解決方案總監(jiān)張忠華表示，“青云科技的基因是算力，從云而來，向云而去。青云科技對(duì)軟件定義存儲(chǔ)的思考不是孤立的，而是把核心聚焦在如何滿足算力對(duì)存儲(chǔ)的需求這個(gè)維度上，讓存儲(chǔ)更好地為算力賦能。”