亞馬遜云科技的技術架構演進創新實踐?
原創在過去的十年里,云計算極大地推動了創新和創業的步伐,為各行各業帶來了前所未有的便利。展望未來十年,生成式 AI 將引領我們共同重塑各行各業的格局。在這個特殊的時間點,What Will You Build?
在生成式 AI 時代,技術架構的演進趨勢有哪些新的特點?在近日舉辦的 2024 亞馬遜云科技中國峰會現場,亞馬遜云科技大中華區解決方案架構總經理代聞以橋梁為比喻,深入探討了亞馬遜云科技在技術架構演進過程中的創新實踐。
亞馬遜云科技大中華區解決方案架構總經理代聞
代聞表示,橋梁的建造與發展離不開基礎材料、建筑架構和多元化需求的協同作用,而技術的發展往往也是如此。他強調,技術架構演進過程中,有三個不變的主題需求,包括基礎組件能力,架構體系創新和多元技術融合。我們應該看清變化的技術和不變的需求,積極推進架構演進,連接未來的想象。
基礎組件能力決定架構設計
在架構設計的世界里,基礎組件的能力往往決定了整個架構的穩固性和擴展性。特別是在云計算領域,這種影響尤為顯著。云計算最基礎的組件是由計算、存儲和網絡構成,而在這三者中,計算無疑是最為核心的組件,承載著數據處理、運行應用等關鍵任務。
當我們談及云計算的計算組件時,不得不提的是亞馬遜云科技Amazon Nitro 系統。自 2006 年亞馬遜云科技推出第一臺 EC2 以來,經過 11 年的努力,其 EC2 種類從單一的 1 種拓展至 70 種。而在隨后的 6 年里,即從 2017 年至 2023 年,EC2 的種類更是迅猛增長到 750種,這一成就的背后離不開 Nitro 系統的強大支持。
2017 年,亞馬遜云科技推出了 Nitro 虛擬化平臺,將安全、管理和監控功能卸載至硬件層面,實現了主機算力近乎 100% 的客戶供給,并極大地增強了虛擬化安全性。更為重要的是,Nitro 系統實現了虛擬化平臺與服務器選擇的解耦,使得底層的虛擬化技術創新與上層的服務器種類發展能夠并行不悖。如今,亞馬遜云科技已經發布了五代 Nitro 芯片,持續在網絡性能、存儲性能和安全加固等方面取得突破,為用戶帶來了更低的延遲、更高的吞吐量和每秒處理更多數據包的能力。
Nitro 系統不僅帶來計算能力的增強,還顯著提升了網絡性能。最新的 Nitro 系統支持高達30Mpps 的包轉發率,即每秒處理三千萬個數據包。同時,亞馬遜云科技還開發了 SRD(Scalable Reliable Datagram)網絡傳輸協議和 SIDR(Scalable Intent Driven Routing)數據中心路由協議,以最大化利用網絡帶寬并實現亞秒級的路由收斂,從而進一步擴大了數據中心網絡的規模。基于 Nitro 創新帶來的網絡性能提升,結合新的數據傳輸協議和路由協議,亞馬遜云科技成功建成了 UltraCluster 超大規模數據中心網絡,支持 GPU 實例數量高達兩萬臺,如果使用亞馬遜自研的機器學習訓練 Trn1 實例,甚至可以擴展到三萬個 Trainium 加速器。
在存儲方面,Nitro 平臺同樣表現出色。它支持單個虛擬機的最大 IOPS 達到 400K,存儲帶寬高達 100Gbps。此外,亞馬遜云科技還重寫了主機和閃存之間的閃存轉換層算法,并將其運行在 Nitro 系統的一塊芯片上,從而將 SSD 訪問延遲降低了 60%,抖動減少了 75%。
當然,在云計算環境中,安全性始終是重中之重。亞馬遜云科技的 Nitro Enclaves 提供了一個隔離的敏感數據處理環境,允許客戶為自己的實例帶來額外的隔離,并只能通過安全的本地渠道進行訪問,從而確保了客戶數據和應用的安全性。
架構體系創新拓展核心能力
在數字化浪潮的推動下,架構體系的創新已成為企業提升核心競爭力的關鍵。這種創新主要聚焦于韌性和彈性與效率兩方面,它們是企業在復雜環境中持續發展的堅實基石。
首先,韌性是架構體系創新不可或缺的一環。與橋梁需應對天災人禍相似,技術架構也需應對不可控的外部風險和管理不善導致的內部風險。以 Amazon IAM 為例,它通過控制平面與數據平面的分離設計,確保了服務的穩定運行,即使在極端情況下也能保持服務不中斷。此外,Amazon IAM 在每個區域的數據平面都采用了單元架構,實現了高可用性和故障隔離,這種設計理念在亞馬遜云科技的多個核心服務,如 Amazon EC2、Amazon EBS、Amazon Aurora 等中均有所體現。
其次,彈性與效率是架構體系創新的另一重要方向。彈性意味著系統能夠迅速響應需求變化,通過快速擴展或縮減資源來應對不同負載場景。而效率則側重于最大化資源利用率,減少浪費,提升整體性能。在這方面,亞馬遜云科技推出了多項創新技術,如 Firecracker 輕量級虛擬化技術、Amazon Lambda SnapStart 快速啟動功能以及 Caspian 智能資源調度系統。
Firecracker 基于 KVM 構建微虛擬機,能在極短時間內啟動完全隔離的虛擬機,并通過多層隔離和保護機制支持多租戶環境。其簡約設計減少了攻擊面,確保了系統的安全性。
Amazon Lambda SnapStart 則利用 Firecracker 的快照功能,對已初始化環境的內存和磁盤狀態進行緩存,并在函數調用時從緩存中恢復,從而顯著提高了啟動速度。在使用 Lambda SnapStart 后,函數的冷啟動速度能提升 10 倍,且無需修改任何代碼。
在 Serverless 數據庫領域,亞馬遜云科技的 Caspian 技術實現了內存的高效共享和彈性管理。通過融合虛擬化管理、熱管理計劃和數據庫引擎特性改寫,Caspian 允許多個數據庫共享同一物理機的全部內存,但每個數據庫實際使用的內存僅限于其申請的大小。當物理機內存不足時,Caspian 能智能地將數據庫實例遷移至其他物理機并擴容內存,確保 Serverless數據庫的流暢運行和高效彈性。
多元技術融合驅動架構創新
隨著現代應用對智能體驗、可持續發展和合規等多元化需求的日益增長,應用架構的創新變得至關重要。多元技術融合,作為推動架構創新的關鍵動力,通過整合不同技術領域的優勢,為構建更高效、更智能的解決方案提供了可能。
為滿足企業多元化的需求,亞馬遜云科技精心打造了一系列數據服務,涵蓋關系型數據庫、非關系型數據庫、數據倉庫,以及批式和流式的數據采集與分析服務。這些服務不僅滿足了企業多樣化的數據處理需求,還為企業提供了強大的數據支持。
值得一提的是,Zero-ETL 技術的出現進一步簡化了數據處理流程,顯著提高了數據處理的效率和準確性。亞馬遜云科技已經推出了 6 項 Zero-ETL 能力,助力客戶輕松實現數據同步和分析,從而提高業務效率和洞察力。
此外,優良架構體系(Well-Architected Framework)作為一套經過實踐驗證的架構設計方法,為企業提供了全面的架構評估和優化工具。該框架覆蓋了安全性、可靠性、性能效率、成本效益和可持續性等多個方面,指導企業構建出健壯、靈活且高效的架構體系,以應對不斷變化的業務需求和市場環境。
結語
作為云計算領域的領軍者,亞馬遜云科技始終秉持著創新的精神,不斷推動著技術架構的演進和行業的變革。在亞馬遜云科技發展的 18 年來,亞馬遜云科技不僅展示了其強大的技術實力,更體現了對未來發展的深刻洞察和堅定追求。
正如代聞所言,亞馬遜云科技正是通過不斷優化基礎組件、創新架構體系以及融合多元技術,實現了對云計算性能、安全性和可靠性的全面提升,為用戶帶來了前所未有的體驗和價值。
相信,在生成式 AI 時代下,亞馬遜云科技將繼續秉承創新精神,不斷推動技術架構的演進,以更加智能、高效、安全的服務,助力各行各業實現數字化轉型和升級。