從云到 Cloudlets:一種新的數據處理方法?
關鍵要點
- 越來越多的終端設備數據到云端進行處理,這越來越多的共識是資源密集、耗時且效率低下,無法由大型單體云處理。
- 將數據從每個物聯網設備轉移到基于云的神經網絡進行語音識別根本不可行。然而,通過在這些設備和中央云之間使用間隙小云,神經網絡可以開始通知即使是最小的物聯網設備的操作。
- 到目前為止,cloudlets 面臨的最大挑戰是安全性,因為一旦數據在多個存儲和處理設備上分散,安全管理它們就變得更加困難。最有效的安全措施是在數據在 cloudlet、設備和云之間移動時對其進行加密。
- 盡管 Cloudlet 模型提供了所有機會,但截至 2020 年它們仍然相當罕見。
盡管新技術一直在出現,但過去十年的總體發展方向已經很明確:從本地分布式數據處理轉向云存儲。
這種轉變的部分原因是過去十年連接設備數量的爆炸式增長,這也需要將數據集中在一個地方進行處理和存儲。
然而,現在可能正在發生一種奇怪的逆轉。小型分布式云或命名法中的“小云”的日益普及 ,是對“傳統”云模型局限性的隱含認識,并可能標志著數據收集、存儲和處理方式的重大轉變.
在本文中,我們將探討小云的興起:它們是什么,它們帶來的挑戰,以及它們是否是一種 比我們已經習慣的云更可行的聯網設備方式。
超大規模與本地規模
盡管“cloudlet”這個術語仍然相對較新(并且相對晦澀),但它的核心概念并非如此。即使從云計算的早期開始,人們就認識到將大量數據發送到云進行處理 會引發帶寬問題。在過去十年的大部分時間里,設備與云共享的數據量相對較少,掩蓋了這個問題。
然而,現在,標準云模型的局限性變得非常明顯。越來越 多的終端設備數據到云端進行處理,這越來越多的共識 是資源密集型、耗時且效率低下,無法由大型單體云處理。
相反, 一些 分析師表示,這些數據在本地處理得更好。此處理要么需要在生成這些數據的設備中進行,要么需要在設備和組織的中央云存儲之間的半本地云中進行。
這就是“cloudlet”的含義:智能設備、cloudlet 和云。Cloudlet 可以被 視為一個盒子中的數據中心,其目標是通過為設備提供處理能力,從而使云更接近設備。至少有一些本地數據。
值得注意的是,這種方法與假定物聯網基礎設施的工作方式有很大不同。甚至在幾年前,人們就認為 5G 連接將 允許 物聯網設備(包括自動駕駛汽車)所需的 所有數據處理在云端執行。
然而,越來越清楚的是,這些設備的計算需求——尤其是為它們配備語音識別接口的愿望——遠遠超出了單片云所能處理的范圍。
機遇與挑戰
同時,組織和工程師都非常不愿意失去云存儲和處理的所有優勢。 云模型提供的額外便利和安全性是今年使用更多基于云的應用程序的公司比去年多36%的主要原因之一 。但是,希望通過將其中一些應用程序移到更靠近其數據源的位置,可以提高它們的效率。
這樣做可能帶來的機會可能是巨大的。目前, 使用神經網絡的最大限制之一 是它們必須輸入的大量數據才能有效地工作。
例如,將數據從每個物聯網設備轉移到基于云的神經網絡進行語音識別是不可行的。然而,通過在這些設備和中央云之間使用間隙小云,神經網絡可以開始通知即使是最小的物聯網設備的操作。通過公共云邊緣服務的邊緣服務移動數據流意味著通過鏈接到整個國家或省份的服務區域的管道移動數據,這就是為什么使用小云傳輸數據可以更有效的原因。
這將產生幾個連鎖效應。一個,已經提到,將大大提高 在物聯網設備中使用語音識別系統的能力。另一個同樣重要的影響將是增強在分布式位置使用視覺 AI 系統(例如面部識別)的能力。
盡管如此,向小云的遷移也帶來了一些新的挑戰,涉及數據分發、存儲和安全性。其中最基本的與設計小云的架構模型有關。小云模型的 基本假設 是,這些較小的分布式云可以比其較大的集中式類似物更快地處理數據。
然而,這種類型的本地化數據處理需要本地處理單元有足夠的電力,這對固有的便攜式物聯網設備來說是一個挑戰。如果必須在很長的地理距離上移動數據,這個問題就會變得更加復雜。
其次,研究小云模型可行性的研究人員面臨另一個問題:保持數據同步和連貫,不僅跨多個設備,而且跨多個子云。以這種方式確保數據的一致性不僅會影響云系統本身的可靠性:對于自動駕駛汽車,這可能對其安全運行至關重要。
安全性和碎片化
然而,到目前為止,cloudlets 面臨的最大挑戰是安全性。遷移到云基礎架構背后的主要驅動力之一是這些系統 比分布式系統更安全,因為它們允許將所有數據集中在一起并在集中式系統下進行管理以進行訪問和控制。這導致云存儲系統在具有安全意識的組織和個人中變得非常流行。
遷移到在小云中存儲和處理數據的模型可能會破壞安全性,因為一旦數據在多個存儲和處理設備中分散,安全管理它們就變得更加困難。更糟糕的是,Cloudlet 基礎設施的許多擬議用途要求收集數據并將其存儲在黑客可能能夠物理訪問的設備上。
最明顯的例子是 為自動駕駛汽車提出的小云類型。例如,不難想象,這些車輛可以在小云中連接在一起,使它們能夠共享有關當地交通狀況的信息,而無需依賴集中式基礎設施。問題在于,在這些分散的云中存儲太多數據會使它們容易受到物理攻擊,因為汽車比數據中心更容易獲得物理訪問。
cloudlet 系統安全性的第二個問題是——就其本質而言——它們是定制的、單獨定制的系統。換句話說,投資間隙云并沒有什么意義,只是讓它在與集中式系統相同的資源密集型軟件上運行。
設計定制的小云系統來處理同樣定制的物聯網設備的特定需求可能會使這些設備更高效,但也可能使它們不那么安全。大型、單一的云系統可能有數百名安全工程師在尋找潛在威脅:內部開發的 cloudlet 系統無法與這種級別的監督相匹敵。應用程序安全測試的最新 進展 已經解決了 cloudlet 系統中的許多安全漏洞,但仍有許多工作要做。
另一方面,有一些理由相信 Cloudlet 系統 可能 比它們的全云系統更安全。這是因為與許多云系統上的全譜數據相比,這些較小系統收集的數據本質上不那么詳盡,因此價值也較低。
當然,也有可能在構建通過大量間隙設備共享數據的系統時,可以設置更多層的保護。
然而,實際上,最有效的方法是在數據在 cloudlet、設備和云之間移動時對其進行加密。實現這一點的最簡單方法之一是依賴使用 L2TP 或 IKEv2 協議的虛擬專用網絡,這兩種協議 在協商新隧道會話時都提供了出色的安全性和可靠性。目前,無論是設備還是小云都不具備部署強加密同時保持可觀性能的計算能力。
通訊
盡管 Cloudlet 模型提供了所有機會,但截至 2020 年它們仍然相當罕見。這部分是因為大規模部署這些系統所需的基礎設施仍在推出。
這些要求之一可能是 5G 連接。然而,世界各地采用 5G 標準的方式可能會對 Cloudlet 模型的可行性產生重大影響。
具體來說,小云系統的主要應用之一可能是在工業(尤其是汽車)制造中,其中建筑機器人可能在小云和云的分層“金字塔”中連接在一起。
然而,在美國,5G 已在更高的 S 頻段上進行了標準化,該頻段也用于雷達。因此,讓這些機器人使用 5G 進行通信非常困難。在實施了不同 5G 標準的其他國家/地區,使用這種額外的連接在制造中實施 cloudlet 可能更容易。
然而,同樣值得注意的是,5G 也 有其自身的安全問題。目前,通過 5G 網絡傳輸的絕大多數數據都是加密的,這是可能的,因為它只在云端進行處理和存儲。Cloudlets 增加了這些系統的表面攻擊區域,引發了對這些數據可能被盜或被監視的擔憂。
未來
小云是否有一個可行的未來還有待觀察。在許多方面,這種模型可以為網絡工程師提供兩全其美的方法:一種在分布式設備上部署高級功能而沒有相關帶寬問題的方法。另一方面,可以說,Cloudlet 模型通過嘗試使這種折衷發揮作用,并沒有特別好地完成任務。具體來說,小云 可能會破壞 集中式系統固有的安全性,而不會提供更多的計算能力。
這樣看來,小云很可能成為未來幾年的一個關鍵“戰場”。這場戰斗的一方是熱衷于推動其邊緣計算技術的公司,并將計算位置在數據流中的“更左端”轉移到終端設備和邊緣數據中心。另一方面是大型、資源充足的云存儲和安全公司,他們對將計算任務保留在云中具有既得利益。
實際上,我們很可能會在未來十年內看到混合模式的出現,這將更多地出于必要而非欲望。畢竟, 今天存在的所有數據中有 90% 是在過去兩年中產生的,其中 80% 是視頻或圖像。鑒于此,繼續在設備或云中存儲和處理數據根本不可行。
換句話說,需要的是一些間隙計算和存儲系統,以及——最重要的是——能夠以智能方式管理請求的系統。
結論
CXL(可被視為硬件實現的小云系統)背后的增長勢頭顯示了擁有動態、可分配資源的價值,這種洞察力可能會對未來幾年小云的使用方式產生巨大影響.
當然,這將代表某種逆轉,因為在 1970 年代,第一個企業網絡在分層大型機模型上運行,使用的系統非常類似于 cloudlets。因此,我們可能已經繞了一圈。