騰訊云展露出領(lǐng)導云存儲市場的潛力
2017年7月底,Gartner的《2017年全球公有云存儲(Public Cloud Storage)服務商魔力象限》如約而至,作為當前全球云計算市場IaaS領(lǐng)域(基礎(chǔ)設(shè)施即服務)的重要組成部分,公有云存儲提供塊、文件或?qū)ο蟠鎯Ψ?,不僅是IaaS云計算服務中最為基礎(chǔ),也是應用最廣泛的服務類型,更是競爭最為激烈的市場,因此,Gartner每年的公有云存儲魔力象限總能引起市場的密切關(guān)注。
在今年的公有云存儲魔力象限中,國外供應商發(fā)生了顯著地變化:與2016年相比,AT&T從魔力象限中消失,我們都知道Gartner的魔力象限有一個不成文的規(guī)定,那就是“一旦加入,除非退出市場,只會發(fā)生象限位置的變化,不會從魔力象限中消失”,是的,令人遺憾的是,在2017年,AT&T這家運營商巨頭停止了其公有云服務;
其次,AWS仍然是市場上最為領(lǐng)先的公有云存儲服務提供商,在2016-2017年的兩個魔力象限中,AWS的位置從來沒有改變過,這樣穩(wěn)定的位置顯然人們是有心理準備的;
最后,比微軟退步更讓人關(guān)注的是,羅睿蘭的IBM又一次調(diào)整了業(yè)務方向,藍色巨人在2016年底徹底放棄了Softlayer品牌,將其歸入了Bluemix公有云服務,而且同時運行著兩個獨立的對象存儲平臺:即將被廢棄的基于OpenStack Swift的舊公有云存儲服務和較新的基于2015年收購的Cleversafe業(yè)務的云存儲平臺——分裂的業(yè)務模式導致了進展緩慢的業(yè)務發(fā)展:藍色巨人既沒有宣布對舊存儲平臺的任何遷移、轉(zhuǎn)化計劃,新存儲平臺作為Bluemix業(yè)務部門子業(yè)務的整合進展也是緩慢且不完整的,它甚至缺少身份和訪問管理(IAM)功能來服務數(shù)據(jù)的細顆粒度訪問。
或許,對于公有云存儲領(lǐng)域,甚至是公有云和云計算領(lǐng)域的IBM來說,我們只能對藍色巨人在這一市場上的決心表示欽佩,但是進展和規(guī)劃只能表示一聲嘆息了吧!
除國際廠商的遺憾之外,我們也能夠看到中國公有云服務提供商帶給我們的驚喜,在知名云服務提供商Rackspace和DELL EMC的明日之星Virtustream之間,我們不難發(fā)現(xiàn)一家中國公有云服務提供商位列其中——雖然只是位列利基象限,但騰訊云作為首次進入Gartner公有云存儲魔力象限的中國公有云服務提供商之一,仍然讓市場對中國公有云服務提供商在全球公有云存儲市場取得的成績眼前一亮。
在對騰訊云的評價中,Gartner表示:騰訊云是一家擁有豐富的IaaS、大數(shù)據(jù)分析和人工智能服務的云服務提供商,它的云對象存儲與其提供的多種增值服務緊密集成,比如說富媒體轉(zhuǎn)碼平臺和CDN服務,而且可以提供低延遲的存儲服務,因此,“騰訊云存儲服務是視頻、內(nèi)容分發(fā)、大數(shù)據(jù)分析、災難恢復等應用場景可行的(云存儲服務器)提供商。”
那么,2010年對外服務、2013年全面開放、2015年之后全球服務節(jié)點“大爆發(fā)”的騰訊云,是如何做好公有云存儲這個公有云計算服務中最為基礎(chǔ)的服務業(yè)務的?又是如何進入2017年Gartner2017年全球公有云存儲魔力象限的?騰訊作為“全球最大的、最多元化的游戲、視頻和社交網(wǎng)絡(luò)服務提供商之一”,又為騰訊云存儲規(guī)劃了什么樣的未來?
對象存儲COS:爭兵家必爭之地
根據(jù)存儲的“對象”不同,存儲系統(tǒng)的類型總體來說分為三類:文件存儲、塊存儲和對象存儲,其中文件存儲主要以存儲非結(jié)構(gòu)化的視頻、圖像和數(shù)據(jù)文件為主,塊存儲即企業(yè)級IT市場常見的Block Storage,以數(shù)據(jù)塊的形式存儲數(shù)據(jù),形成如今封閉、專用和復雜的SAN存儲環(huán)境。
與文件存儲和塊存儲不同,對象存儲的存儲目標是“對象(Object)”,它的出現(xiàn)是為了克服塊存儲與文件存儲各自的缺點——前者讀寫快、不利于共享,后者讀寫慢,卻利于共享,我們需要一個讀寫快、利于共享的存儲方式,這就是對象存儲。
對象存儲有著非常優(yōu)秀的特質(zhì),總的來說,對象存儲能夠存儲非機構(gòu)化數(shù)據(jù),支持高可用、高可靠的、高可擴展性的架構(gòu)設(shè)計,支持大并發(fā)量的存儲讀取需求,同時,對象存儲可以使用HTTP REST協(xié)議(REST API),這大大提高了對象存儲在互聯(lián)網(wǎng)、云計算時代的讀取訪問便捷性,誰讓對象存儲它可以使用HTTP直接訪問呢?
如果嘗試用一句話來概括對象存儲,那可以這么說:對象存儲是支持海量用戶遠程訪問的無限容量高經(jīng)濟性存儲系統(tǒng)——很顯然,對象存儲簡直是公有云存儲服務天然適配的最佳形態(tài)。
于是,對象存儲毫無疑問的成為公有云存儲服務的開創(chuàng)所在和兵家必爭之地,事實上,2006年AWS正式對外提供服務的第一個公有云服務,正是以對象存儲為核心的“亞馬遜簡易存儲服務”,即Amazon Simple Storage Service,對,沒錯,就是后來大紅大紫的AWS的S3存儲服務。
所以,想要在公有云服務市場立得住?先把對象存儲服務最好了再說。
2006年起,騰訊開始使用Tencent FS開始承載包括QQ相冊、微云、微信朋友圈等業(yè)務在內(nèi)的非結(jié)構(gòu)化數(shù)據(jù),并逐漸成為一個國內(nèi)外首屈一指的大規(guī)模存儲系統(tǒng),管理超過1EB的數(shù)據(jù),在騰訊開始涉足公有云,特別是公有云存儲之后,騰訊云以此為底層,構(gòu)建了騰訊云的對象存儲服務“對象存儲COS(Cloud Object Storage)”。
有鑒于對騰訊自身規(guī)模龐大、架構(gòu)復雜、需求極高的業(yè)務的支撐,騰訊云的對象存儲COS一開始“就是含著金湯勺出生的”,它不僅包括標準存儲、低頻存儲、近線存儲三檔存儲引擎,更在兼容AWS S3 API、追加和回溯等功能方面領(lǐng)先業(yè)界競爭友商,并由此構(gòu)建了一套完整的、可靠的服務架構(gòu):它以高可靠性的分布式數(shù)據(jù)存儲為底層架構(gòu),提供兼容AWS S3存儲的API、SDK開發(fā)包和HTTP REST訪問接口;針對實際業(yè)務中的圖片智能識別處理、音視頻處理和文檔處理等提供應用接入;同時,為公有云存儲用戶提供大數(shù)據(jù)套件、命令行工具和POSIX兼容性支持;
此外,為了支撐對象存儲COS的數(shù)據(jù)讀取訪問,騰訊云提供CDN加速上傳和下載、騰訊BGP骨干網(wǎng) 29 ISP互聯(lián)和DCI專線等傳輸服務,從而以公有云存儲為基礎(chǔ),結(jié)合高效率、高性能的數(shù)據(jù)傳輸服務,“解決最后一公里的數(shù)據(jù)到達問題”。
無論是考察公有云存儲,還是考量對象存儲,只要是涉及到存儲的話題,有四個字永遠無法繞過,那就是:“安全可靠”,作為承載著企業(yè)最關(guān)鍵的數(shù)字資產(chǎn)的存儲平臺,沒什么能夠比“安全可靠”這四個字更基礎(chǔ)也更重要的考量標準,就像存儲行業(yè)常說的一句玩笑話說的:“存儲系統(tǒng),可以存不進去,取不出來,但是只要是數(shù)據(jù)在那兒就不是大問題。”
有鑒于此,騰訊云的對象存儲COS在全球部署了9個可用區(qū),并仍然在規(guī)劃至少7個新的可用區(qū)域,同時,根據(jù)數(shù)據(jù)的性質(zhì),采用通過多副本或糾刪碼的存儲方式,讓數(shù)據(jù)分布在同一地域內(nèi)不同可用區(qū),從而在保證數(shù)據(jù)可靠性的前提下保證恢復數(shù)據(jù)的速度,此外,對象存儲COS的每一層架構(gòu)設(shè)計均為無狀態(tài)設(shè)計,“因此無論從哪一層都可以對網(wǎng)絡(luò)波動和物理故障做及時的剔除,保障業(yè)務穩(wěn)定性。”
在安全性方面,對象存儲COS不僅采用了兩次SHA1加密、支持指定參數(shù)加密并提供完備的密鑰/請求有效期管理,更接入騰訊云 CAM 權(quán)限管理系統(tǒng),所有讀寫請求均需經(jīng)過系統(tǒng)鑒權(quán),若無權(quán)限則拒絕請求。此外,“數(shù)據(jù)通過算法分布,并單獨維護索引,數(shù)據(jù)只能被系統(tǒng)訪問所讀取,無法通過硬件或服務器直接讀取。存儲底層可選服務端加密能力,加密后數(shù)據(jù)匹配密鑰訪問,進一步保障數(shù)據(jù)安全。”
于是,騰訊云也為其對象存儲COS擁有著99.95%的服務可用性,99.999999999%(不用數(shù)了,11個9)的數(shù)據(jù)可靠性”的服務水平標準,同時數(shù)據(jù)的重建恢復時間“少于10分鐘”。
就對象存儲的應用而言,隨著公有云存儲的使用越來越普遍,對象存儲在用戶中的認知度也越來越深,在多點上傳的UGC、頻繁IO的網(wǎng)盤、海量數(shù)據(jù)的歸檔及備份(對象存儲在企業(yè)級私有云市場最早的應用就是備份恢復和歸檔)、熱點資源分發(fā)下載等應用場景中,對象存儲都有著廣泛的應用前景。
但騰訊云的對象存儲COS的想象空間卻不止于此,正如Gartner在魔力象限報告中所說,騰訊云能夠?qū)ο蟠鎯εc其CDN分發(fā)、數(shù)據(jù)處理等云服務緊密結(jié)合,從而構(gòu)建更為適應特定工作場景、業(yè)務需求的云存儲解決方案。
以國內(nèi)某知名APP視頻服務商為例,騰訊云以對象存儲COS為基礎(chǔ)提供高效率、高可靠的視頻存儲服務,不僅結(jié)合騰訊云CDN加速視頻分發(fā)速度,更重要的是,緊密結(jié)合了優(yōu)圖的智能(視頻、圖片)識別技術(shù),提供了黃色、暴力等視頻的自動檢測功能,對以大規(guī)模、多點UGC內(nèi)容聚合為賣點的視頻平臺,顯然這是一項必備的素質(zhì)。
在國內(nèi)領(lǐng)先的某知名IPTV服務商,因為COS 同時還提供多種混合云搭建及私有云部署解決方案,這家IPTV服務商便采用騰訊云COS對象存儲和CSG存儲網(wǎng)關(guān)作為其企業(yè)混合云的一部分。為其在全國各地的分公司做存儲的數(shù)據(jù)源,并將剪輯完成的視頻經(jīng)由騰訊云 CDN 分發(fā)。
2014年,騰訊云開始對外提供對象存儲服務,至2016年,已經(jīng)為多家大客戶提供云端數(shù)據(jù)存儲服務,而在發(fā)展過程中,從對象存儲起步,騰訊云也開始提供越來越多、越來越完備的公有云存儲服務——不過,細心的人不難發(fā)現(xiàn),怎么騰訊云的公有云存儲中,混入了私有云存儲?
公有云存儲一不小心“混入”了私有云
在騰訊云的云存儲版圖中,私有云存儲CSP(Cloud Storage on Private)的名字顯得尤為明顯,任何云存儲的用戶,在一片公有云服務中,猛然發(fā)現(xiàn)一個“私有云”,都必然會問一個問題:騰訊云是公有云,為什么會有私有云?更進一步,略了解些企業(yè)存儲市場的人則會問:你比IBM、HDS、DELL EMC的私有云(存儲),有什么優(yōu)勢?
實質(zhì)上,騰訊云的私有云存儲CSP并非傳統(tǒng)意義上的“SAN、NAS等硬件系統(tǒng)”,而是一個“基于騰訊公有云分布式存儲架構(gòu),提供客戶機房私有部署、騰訊云機房專區(qū)部署兩種方式,滿足客戶多種場景需求,并保障客戶對系統(tǒng) 100% 可控”的存儲服務——一句話概括:這是一個建構(gòu)在騰訊云公有云存儲上的“物理+邏輯兩層的私有云服務”。
按照騰訊的說法,私有云存儲CSP具有如下特性:1、支持從 TB 級到 PB 級線性擴展;2、支持通用 x86 服務器,避免硬件廠商鎖定;支持 S3、Swift、FTP、NFS 多種對象、文件訪問協(xié)議;3、提供簡潔易用的可視化運維界面,掌握系統(tǒng)實時運行狀態(tài);支持客戶機房部署、騰訊云機房專區(qū)部署,滿足不同場景需求。
從這些說法中,我們不難勾勒出一個私有云存儲CSP的大致輪廓:它以標準化的、分布式的x86架構(gòu)為基礎(chǔ),向上提供動態(tài)擴展、全生命周期管理的,滿足大多數(shù)企業(yè)私有存儲需求公有云服務。
私有云存儲CSP對騰訊云在存儲領(lǐng)域的發(fā)展是有著里程碑式作用的,我們都知道,公有云存儲的早期和絕大部分的用戶都是小型企業(yè)、組織機構(gòu)和開發(fā)者(或開發(fā)團隊),長期以來,對數(shù)據(jù)存儲有著極高要求的大中型企業(yè),仍然最信賴的是IBM、HDS、DELL EMC等品牌,而非騰訊云、AWS甚至都不是IBM的Softlayer。
對騰訊云的存儲業(yè)務來說,私有云存儲CSP的推出和商用,意味著騰訊云在存儲業(yè)務上可以提供與企業(yè)級私有云供應商相同水平的SLA,這兩者的區(qū)別,就像是“你可以容忍雙11電商網(wǎng)站可以宕機,卻無法容忍xx銀行今天取不出錢來”——如此大的區(qū)別,對騰訊云的存儲業(yè)務來說,重要性可見一斑。
因此,騰訊云對私有云存儲CSP的重視程度是非常高的,用他們自己的話說,“(CSP)可是拆分出騰訊十幾年的運營、運維系統(tǒng),為客戶提供私有云存儲服務。”
當然,除了COS和CSP,騰訊云在存儲業(yè)務上還有更多的產(chǎn)品和服務,比如說,文件存儲CFS提供了可擴展的共享存儲服務,支持標準的 NFS 文件系統(tǒng)訪問協(xié)議,為多個 CVM 實例提供共享的數(shù)據(jù)源,支持無限容量和性能的擴展;
歸檔存儲CAS則面向面向企業(yè)和個人開發(fā)者提供的高可靠、低成本的云端離線存儲服務。您可以將任意數(shù)量和形式的非結(jié)構(gòu)化數(shù)據(jù)放入CAS,實現(xiàn)數(shù)據(jù)的容災和備份;
云硬盤CBS是騰訊云提供的用于CVM實例的持久性數(shù)據(jù)塊級存儲。每個云硬盤在其可用區(qū)內(nèi)自動復制,云硬盤中的數(shù)據(jù)在可用區(qū)內(nèi)以多副本冗余方式存儲,避免數(shù)據(jù)的單點故障風險。
而在這么多“(數(shù)據(jù))存儲”服務之外,騰訊云的存儲版圖中還有一個被稱為“存儲網(wǎng)關(guān)CSG”的存儲“功能”服務,它的作用是幫助企業(yè)或個人實現(xiàn)本地存儲與公有云存儲的無縫銜接,是一個通過在本地安裝云存儲網(wǎng)關(guān)即可實現(xiàn)混合云部署的混合云存儲方案,最終形成“本地私有云+騰訊云公有云云存儲”的架構(gòu)。
事實上,如果我們將對象存儲COS、私有云存儲CSP和存儲網(wǎng)關(guān)CSG放在一起不難發(fā)現(xiàn),對騰訊云來說,它的目標不僅僅是傳統(tǒng)意義上的公有云存儲,而是要實現(xiàn)未來公有云存儲對絕大多數(shù)企業(yè)存儲——包括私有云、公有云和傳統(tǒng)存儲——的替代與融合,這才是騰訊云的存儲業(yè)務的業(yè)務發(fā)展和未來前景。
當然,云計算市場是在不斷向前發(fā)展的,今天推出的服務,明天可能就成為了明日黃花,就像AWS,每年都會推出少則20幾項,多則數(shù)十項的新產(chǎn)品、新服務發(fā)布,對于云計算市場,來說產(chǎn)品服務的更新仍然會在很長的一段時間里保持高速的增長。
但隨著云計算概念的深入人心以及應用實踐的增多,用戶對云存儲的要求也就越來越高,這些要求的提出,也將對未來Garner《全球公有云存儲(Public Cloud Storage)服務商魔力象限》的撰寫產(chǎn)生影響。
云存儲:不止是第一次 而是每一次
“云存儲往往是使用公有云的第一次”,對于云存儲在公有云市場的地位,用這句話來評論應當說是合適的,不只是AWS的S3,如果我們看大多數(shù)人使用云的精力,莫不是從云數(shù)據(jù)同步、云數(shù)據(jù)存儲為深層內(nèi)核的Dropbox、百度網(wǎng)盤、Windows Live等開始的,存儲的需求是龐大的也是天然發(fā)生的,而且對于存儲來說,高昂的成本、復雜的管理、永遠不足的空間,促使用戶對云存儲的渴望程度從未降溫。
但我們應當意識到,云存儲在公有云的使用中的地位,“不止是第一次那么簡單”,而是“每一次都會發(fā)生關(guān)系”:從最簡單的應用需求來說,數(shù)據(jù)的備份、恢復、同步和容災,往往成本高昂、架構(gòu)復雜、效果也差強人意,在公有云上使用能夠很好支持這些需求的云存儲服務,幾乎是未來企業(yè)的必然。
事實上,就連從超融合市場王座上轉(zhuǎn)移到企業(yè)云市場的Nutanix,都把第一個(也是目前為止唯一一個)云服務定位在了數(shù)據(jù)存儲的災備業(yè)務上。
對云存儲的需求,我們將會在各行各業(yè)看到百花齊放的態(tài)勢,比如說,在廣電媒資領(lǐng)域,為了更好地適應互聯(lián)網(wǎng)電視、高清電視和點播、獨播業(yè)務的發(fā)展,廣電媒資的“云存儲+歸檔+CDN分發(fā)+云轉(zhuǎn)碼”的云存儲需求架構(gòu)將日益顯現(xiàn);
在公安安防監(jiān)控領(lǐng)域,隨著邊緣計算(例如將犯罪人員比對的圖像識別放置在前端攝像頭)、高清攝像頭非現(xiàn)場執(zhí)法和網(wǎng)絡(luò)追逃的普及,公安執(zhí)法等視頻監(jiān)控與存儲是云存儲的一個新爆發(fā)點;
此外,在政務云(虛擬化數(shù)據(jù)存儲平臺)、政企數(shù)據(jù)備份歸檔(日益加強的法規(guī)及監(jiān)管要求)、在線(遠程)教育、企業(yè)(在線遠程)培訓等市場,云存儲都將是這些業(yè)務能否順利開展的根本條件之一,更不用說,當云存儲、CDN、視頻轉(zhuǎn)碼、大數(shù)據(jù)分析,乃至人工智能技術(shù)相結(jié)合之后所能發(fā)揮出來的巨大作用。
對于騰訊云來說,云存儲的業(yè)務不僅僅是“拉動客戶來騰訊云”的重要服務,更重要的是,通過與云存儲服務的結(jié)合,騰訊云能夠?qū)⑵湓诿襟w、游戲、視頻、金融、安全、社交網(wǎng)絡(luò)服務等多個領(lǐng)域所積累的技術(shù)優(yōu)勢,能夠轉(zhuǎn)化為場景化解決方案,從而面向企業(yè)業(yè)務、用戶應用來提供相應的解決方案,這將是騰訊云也是整個公有云的未來發(fā)展的重要驅(qū)動力。
就近來說,在首次進入Gartner《全球公有云存儲(Public Cloud Storage)服務商魔力象限》之后,騰訊云在存儲業(yè)務上給自己定了三個目標:
首先,技術(shù)上進一步看齊AWS S3等優(yōu)秀云存儲服務的功能特性,持續(xù)優(yōu)化讀寫性能,做到“全面超越行業(yè)競爭友商”;
其次,不僅持續(xù)優(yōu)化中文文檔,更要面向全球客戶,優(yōu)化英文文檔,實時跟進騰訊云海外部署,“提供全球化(領(lǐng)先)的存儲服務”;
第三,在渠道上保持開放的態(tài)度,將公有云、私有云存儲服務于第三方的渠道和應用相結(jié)合;在生態(tài)上進一步向著社區(qū)開放,并進行更多的兼容性測試,讓應用開發(fā)者(比如AWS S3的SDK和插件的應用開發(fā)者)可以“直接修改配置并使用對象存儲COS”,同時投身開源社區(qū),將可開源的代碼貢獻社區(qū),參與到Hadoop等開源項目中去。
總之一句話:騰訊云存儲的目標,是朝著魔力象限的右上角(領(lǐng)導者象限)前進!