挑戰(zhàn)傳統(tǒng)集中式云計(jì)算架構(gòu),分布式云的核心要義是什么?
隨著5G和物聯(lián)網(wǎng)的廣泛落地,傳統(tǒng)集中式的云計(jì)算架構(gòu)受到了越來越多的挑戰(zhàn),我們的算力模型和存儲(chǔ)模型也潛移默化的產(chǎn)生了一些變化。
一、分布式云與近數(shù)據(jù)計(jì)算
所謂分布式云是相對(duì)于傳統(tǒng)集中式云而言的,隨著算力需求的分散,云資源的布局也相應(yīng)發(fā)生了變化,從物理集中的云架構(gòu)向分層分域的分布式云架構(gòu)轉(zhuǎn)型。具體來說,云平臺(tái)會(huì)根據(jù)需求的變化進(jìn)行算力分成和下沉,原來集中式云數(shù)據(jù)中心會(huì)演進(jìn)成”中心算力層+云管理和調(diào)度中心“為核心的核心層、以地域和行政架構(gòu)為牽引的區(qū)域算力中心以及面向現(xiàn)場和生產(chǎn)一線需求的邊緣計(jì)算層等分層分域的新型分布式架構(gòu)。
分布式云實(shí)現(xiàn)算力重分布的目的,歸根結(jié)底還是為了適配新的業(yè)務(wù)模式,是算力需求從集中走向分散的根本性需求。當(dāng)然,分布式云也不是一味的做拆分和分散化,實(shí)現(xiàn)了邏輯統(tǒng)一物理分散,實(shí)現(xiàn)四個(gè)方面的融合:
1. 資源融合
計(jì)算和存儲(chǔ)資源在管理上是融合,通過中心云管實(shí)現(xiàn)統(tǒng)一視圖的管理和互操作,通過服務(wù)目錄的整合,實(shí)現(xiàn)資源服務(wù)的交付;
2. 網(wǎng)絡(luò)融合
在過去的云架構(gòu)設(shè)計(jì)中,云內(nèi)網(wǎng)和云間網(wǎng)在管理和控制上是割裂的。從集中式云的云內(nèi)網(wǎng)到分布式云的云間網(wǎng),云內(nèi)網(wǎng)和云間網(wǎng)的融合,勢(shì)必成為趨勢(shì)了。過去很長一段時(shí)間網(wǎng)絡(luò)一直是云的瓶頸,站在分布式云的角度來說,網(wǎng)絡(luò)依然是瓶頸,云內(nèi)網(wǎng)、云間網(wǎng)和云接入網(wǎng)的融合很快就會(huì)進(jìn)入視野;
3. 應(yīng)用融合
在現(xiàn)階段云被詬病最多的還是云與業(yè)務(wù)那種若即若離的關(guān)系。分布式云之所以推動(dòng)算力重分布,就是為了讓算力更靠近應(yīng)用。在邊緣側(cè)實(shí)現(xiàn)應(yīng)用的時(shí)效性處理部分,在核心側(cè)實(shí)現(xiàn)應(yīng)有的集中管理和過程處理,這兩部分一定會(huì)融合到一起,實(shí)現(xiàn)高效的協(xié)同;
4. 數(shù)據(jù)融合
在分布式云的框架下,邊緣側(cè)不再像過去一樣只是負(fù)責(zé)數(shù)據(jù)的采集和傳輸,數(shù)據(jù)在邊緣側(cè)被第一時(shí)間處理,從數(shù)據(jù)的采集、數(shù)據(jù)的粗加工到數(shù)據(jù)的告警以及一些數(shù)據(jù)的執(zhí)行,匯總數(shù)據(jù)和初步分析的數(shù)據(jù)被傳輸?shù)胶诵膫?cè),這樣的好處是大大節(jié)省了帶寬,同時(shí)也極大地提高了邊緣側(cè)數(shù)據(jù)響應(yīng)和時(shí)效性。
邊緣側(cè)和核心側(cè),在資源、網(wǎng)絡(luò)、應(yīng)用和數(shù)據(jù)四個(gè)層面實(shí)現(xiàn)了融合,分布式云才是一個(gè)有機(jī)整體,分布式云的核心要義不在于分布式而是在于融合。
說完了分布式云,近數(shù)據(jù)計(jì)算就很容易理解了,跟分布式云的初衷是基本一致的,都是為了讓資源更好的為業(yè)務(wù)服務(wù),都是為了讓算力離應(yīng)用和數(shù)據(jù)更近。根據(jù)上面的分析,可以得出一個(gè)結(jié)論,大數(shù)據(jù)的趨勢(shì)正在導(dǎo)致計(jì)算范式的變化,尤其是將計(jì)算轉(zhuǎn)移到數(shù)據(jù)的概念,我們稱之為近數(shù)據(jù)處理(Near Data Processing)。NDP是指將計(jì)算遷移到離數(shù)據(jù)更近的地方,減少數(shù)據(jù)的移動(dòng)。數(shù)據(jù)的遷移往往在整個(gè)計(jì)算過程中占據(jù)極大的能耗開銷。邊緣存儲(chǔ)與存算一體化緊密結(jié)合,依靠設(shè)備或介質(zhì)的計(jì)算能力,直接在存儲(chǔ)控制器內(nèi)部執(zhí)行計(jì)算,在邊緣設(shè)備上可極大減少存儲(chǔ)器內(nèi)部的數(shù)據(jù)遷移開銷,在網(wǎng)絡(luò)傳輸過程中也能極大減少帶寬開銷,這將極大減輕云端的計(jì)算壓力。
二、邊緣存儲(chǔ)
邊緣存儲(chǔ)也是分布式云架構(gòu)中的一個(gè)重要環(huán)節(jié),隨著算力下沉,原有的集中式的云存儲(chǔ)模式也會(huì)發(fā)生架構(gòu)上的調(diào)整和變化,邊緣存儲(chǔ)成為重要的補(bǔ)充。邊緣存儲(chǔ)是邊緣計(jì)算的延伸概念,主要為邊緣計(jì)算提供實(shí)時(shí)可靠的數(shù)據(jù)存儲(chǔ)與訪問。邊緣存儲(chǔ)尚沒有明確的定義,但是相關(guān)的工程實(shí)踐已經(jīng)展開了。
1. 邊緣存儲(chǔ)的基本特點(diǎn)
與云存儲(chǔ)不同,邊緣存儲(chǔ)將數(shù)據(jù)從遠(yuǎn)距離的云服務(wù)器端遷移到離數(shù)據(jù)更近的邊緣存儲(chǔ)設(shè)備端,具有更低的網(wǎng)絡(luò)通信開銷、交互延遲和帶寬成本,能為邊緣計(jì)算提供實(shí)時(shí)可靠的數(shù)據(jù)存儲(chǔ)和訪問。邊緣存儲(chǔ)和邊緣數(shù)據(jù)中心在地理上是分布式的,與業(yè)務(wù)需求呈現(xiàn)一樣的分布趨勢(shì)。這種分布式結(jié)構(gòu)使數(shù)據(jù)能夠及時(shí)地就近存儲(chǔ),為邊緣計(jì)算關(guān)鍵任務(wù)的實(shí)時(shí)性數(shù)據(jù)存儲(chǔ)和訪問提供了保障。
2. 邊緣存儲(chǔ)的異構(gòu)特性
邊緣存儲(chǔ)一般來說會(huì)呈現(xiàn)異構(gòu)的特點(diǎn),主要是水平和垂直兩個(gè)層面。在水平側(cè),不同類型的邊緣端側(cè)設(shè)備一般會(huì)采用不同的存儲(chǔ)介質(zhì),F(xiàn)lash等非易失性介質(zhì)和SAS、SATA硬盤相結(jié)合的方式,還體現(xiàn)在多種存儲(chǔ)系統(tǒng)的使用。
在垂直側(cè),垂直多層次異構(gòu)是指根據(jù)距離大型集中式云數(shù)據(jù)中心的遠(yuǎn)近,邊緣存儲(chǔ)可分為3個(gè)層次:邊緣設(shè)備、邊緣云節(jié)點(diǎn)、分布式數(shù)據(jù)中心,不同層次對(duì)應(yīng)不同的存儲(chǔ)系統(tǒng)。不同層次的存儲(chǔ)系統(tǒng)需要相互協(xié)作,通過多層次、多級(jí)別的數(shù)據(jù)緩存和預(yù)取策略優(yōu)化邊緣數(shù)據(jù)的存儲(chǔ)和訪問。
3. 邊緣存儲(chǔ)的融合部署
邊緣存儲(chǔ)需要實(shí)現(xiàn)邊緣節(jié)點(diǎn)內(nèi)部部署,為邊緣計(jì)算提供高速的本地?cái)?shù)據(jù)資源訪問,滿足邊緣應(yīng)用的實(shí)時(shí)性需求,在本地最大限度地控制訪問內(nèi)部存儲(chǔ)設(shè)備,監(jiān)測(cè)控制數(shù)據(jù)存儲(chǔ)的位置,實(shí)時(shí)調(diào)整數(shù)據(jù)的冗余策略,面向數(shù)據(jù)源對(duì)數(shù)據(jù)進(jìn)行加密或其他預(yù)處理,增強(qiáng)數(shù)據(jù)安全性。邊緣存儲(chǔ)在形式上,也可以是中心化的架構(gòu),也可以是非中心化的架構(gòu)。
中心化架構(gòu)在具體部署角度來看,就是在分布式存儲(chǔ)在邊緣節(jié)點(diǎn)的場景化應(yīng)用,只不過比通常場景更輕量化。還有一種去中心化的邊緣存儲(chǔ),核心思想就是多個(gè)邊緣設(shè)備之間可以自組織地建立去中心化分布式存儲(chǔ)網(wǎng)絡(luò)。隨著邊緣設(shè)備數(shù)量激增,該架構(gòu)具有很大的潛力。
4. 邊緣存儲(chǔ)與MEC
邊緣存儲(chǔ)作為一種存儲(chǔ)架構(gòu)的演進(jìn)模式,實(shí)際上是邊緣計(jì)算概念和模式的延伸,會(huì)依托算力重分布和邊緣應(yīng)用以及MEC的發(fā)展而逐步落地,不會(huì)獨(dú)立存在,會(huì)依托于MEC的場景化應(yīng)用,比如視頻監(jiān)測(cè)、工業(yè)互聯(lián)網(wǎng)、無人機(jī)、車聯(lián)網(wǎng)、智慧醫(yī)療、智慧交通等等,場景會(huì)越來越豐富。
沒有什么是永恒不變的,還是那句話,概念不重要,重要的是持續(xù)演進(jìn)的架構(gòu)以及敏捷多變的業(yè)務(wù)需求。