為了實現(xiàn)符合車規(guī)級高可用的公有云運行方案，我們在公有云服務普及多可用區(qū)和 Serverless 極致彈性的基礎上，利用同城三云雙活方案，來捅破公有云高可用的理論極限！非常感謝火山引擎團隊能夠用突出的產(chǎn)品力和專業(yè)的服務精神全力支持與配合整個方案的推進工作！

——長城汽車C端平臺技術總監(jiān) 陳天予

背景介紹

據(jù) IDC 調研數(shù)據(jù)顯示，在汽車云基礎設施市場中，公有云占比高達 59%。云作為汽車行業(yè)的創(chuàng)新性基礎設施，汽車上云已經(jīng)成為事實趨勢。然而，單一云服務對國內主流汽車企業(yè)帶來了高度依賴與綁定的風險。為了提高汽車企業(yè)的業(yè)務可靠性，多云已經(jīng)成為汽車企業(yè)的一大上云趨勢。

長城汽車是一家全球化智能科技公司，一直以來積極擁抱數(shù)智化變革，通過云計算等先進技術，不斷優(yōu)化提高用戶體驗。作為車企品牌與用戶之間的高度信息與機會互動的生態(tài)載體，車企移動端 APP 與小程序業(yè)務的穩(wěn)定性與質量直接關乎存量車主用戶留存與潛客試駕轉化。當前，長城汽車的移動端 APP 與小程序業(yè)務分布在不同的云環(huán)境，這對故障時的業(yè)務快速遷移、業(yè)務持續(xù)高可用帶來了較大挑戰(zhàn)。

為應對該挑戰(zhàn)，長城汽車選擇與火山引擎進行營銷側移動業(yè)務的雙云雙活探索與論證，依托火山引擎云原生產(chǎn)品方案，構建多云雙活應用架構，實現(xiàn)了不同云環(huán)境中應用的自動部署、擴展和管理。同時，通過建立完善的全生命周期多云觀測體系，在應對業(yè)務故障時實現(xiàn)流量的無縫切換，減少故障感知，滿足長城汽車對多云部署下敏捷性、彈性、高可用性的多方面需求：

• 統(tǒng)一多云應用管理，滿足業(yè)務連續(xù)性的需求：通過將業(yè)務和控制解耦（分別部署在火山引擎與其他云上），減少故障爆炸半徑，基于多云容器管理能力實現(xiàn)應用的自動部署和擴展，將應用發(fā)布統(tǒng)一收口與管理，屏蔽各朵云之間的差異與細節(jié)，確保服務的高可用性和快速恢復；
• 構建多云流量治理體系，降低故障影響范圍：解決跨云流量調度的多云服務尋址、就近路由訪問、自動故障轉移、多云流量觀測等核心問題，保障流量優(yōu)先在本 region 內閉環(huán)，避免額外的跨云帶寬和業(yè)務性能損耗，通過精準流量調控策略實現(xiàn)自動 failover 收縮故障影響范圍；
• 建立多云觀測體系，避免數(shù)據(jù)孤島：面向運維人員，提供各朵云之間觀測數(shù)據(jù)的統(tǒng)一可視化界面，實現(xiàn)多云觀測體系、指標、監(jiān)控工具的統(tǒng)一化，規(guī)避數(shù)據(jù)孤島問題。

同城多云雙活架構設計方案

容災架構從最早期的單活形態(tài)（同城主備）發(fā)展到同城多活形態(tài)，再演化到異地多活，隨著容災能力的提升，伴隨的是更復雜的技術架構、更高的業(yè)務改造成本和更高昂的資源成本。

相比自建基礎設施，公有云廠商往往能提供 SLA 更有保障的服務，因此對于云上用戶來說，容災能力的建設目標非常明確：即能夠應對和處理單云單地域的故障，從而保障業(yè)務的連續(xù)性。同城不同云廠商機房間的網(wǎng)絡延時較短，數(shù)據(jù)庫、緩存和消息等在數(shù)據(jù)容災方面容易實現(xiàn)得多，所以同城多云多活架構是企業(yè)提升業(yè)務韌性最有效、最經(jīng)濟、最務實的手段之一。

下面是長城汽車營銷云同城多云雙活架構的整體方案：

• 業(yè)務分別部署在火山引擎與其他公有云上，控制流能力部署在第三朵云上，將業(yè)務與控制解耦部署，盡可能減少故障爆炸半徑；
• 容器化應用視角屏蔽掉各朵云之間的差異與細節(jié)，借助多云容器管理能力構建多云統(tǒng)一應用發(fā)布能力，將應用發(fā)布統(tǒng)一收口與管理；
• 雙云雙活分業(yè)務逐步開展上線，微服務之間除了南北向調用依賴外，也會存在東西向調用依賴，故需構建多云流量治理體系，實現(xiàn)雙云雙活業(yè)務的正常運行；
• 運維視角統(tǒng)一各朵云之間觀測數(shù)據(jù)的可視化入口，結束多云雜散的觀測體系、指標及入口，建立以應用為中心的多云觀測體系；
• 在同城多活架構下，因網(wǎng)絡條件較好，為避免數(shù)據(jù)不一致等問題，數(shù)據(jù)層采用單寫多讀、多云數(shù)據(jù)單向同步、故障時主備切換的方案。

多云發(fā)布：構建以應用為核心的開發(fā)能力

企業(yè)在執(zhí)行多云戰(zhàn)略的過程中，最核心的是要圍繞自身的業(yè)務應用。在多云環(huán)境中，屏蔽多云帶來的環(huán)境差異、讓開發(fā)人員可以聚焦業(yè)務本身將有助于業(yè)務敏捷。

火山引擎多云容器應用發(fā)布為客戶提供了一種靈活、高效的跨云平臺部署和管理容器化應用的能力。它解決了傳統(tǒng)單一云服務可能遇到的資源瓶頸、地域限制和單點故障風險問題，通過在不同云環(huán)境中實現(xiàn)應用的自動部署、擴展和管理，充分保障服務的高可用性和快速恢復，實現(xiàn)業(yè)務連續(xù)性。這種發(fā)布策略滿足了企業(yè)對敏捷性、彈性、高可用性的多方面訴求，為企業(yè)在快速變化的市場中保持競爭力帶來了重要價值。

在上圖的多云發(fā)布的方案中，本著控制與業(yè)務解耦的整體原則，客戶使用 A 廠商的 CI/CD 產(chǎn)品提供代碼托管、流水線、應用交付等控制流，并用火山引擎云原生集群聯(lián)邦方案承接多云納管、跨云調度、故障遷移等核心業(yè)務流。實現(xiàn)了由 A 廠商將編排應用下發(fā)到火山引擎云原生集群聯(lián)邦方案，再將應用涉及的 Kubernetes 工作負載及配置資源分發(fā)到火山引擎容器服務 VKE 和 B 廠商容器集群的多云業(yè)務集群中。該方案提供的關鍵能力與優(yōu)勢包括：

• 跨云應用分發(fā)：通過火山引擎云原生集群聯(lián)邦方案注冊納管 VKE 等多云集群，并將多集群構建為集群聯(lián)邦，形成統(tǒng)一調度資源池，集群聯(lián)邦會作為 CD 流水線統(tǒng)一多云分發(fā)入口；
• 原生資源兼容：集群聯(lián)邦資源完全兼容 Kubernetes 的標準 API、Helm Chart 以及自定義 CRD，而且可以使用聯(lián)邦集群 KubeConfig 通過 kubectl 終端進行管理及流水線集成，這種一致性云原生使用體驗降低了業(yè)務多云化改造成本；
• 開箱即用的策略：云原生集群聯(lián)邦方案內置了開箱即用的調度策略，可按照復制、動態(tài)/靜態(tài)權重進行多集群應用分發(fā)，支持應用關聯(lián)資源自動跟隨分發(fā)、沖突資源接管等策略。客戶項目中工作負載采用了工作負載靜態(tài)權重調度模式，即按固定比例將負載實例拆分到 VKE 和其他云的容器集群中運行；
• 多云差異適配：應用資源分發(fā)到不同云環(huán)境中通常需要進行差異化的配置，如倉庫地址等，云原生集群聯(lián)邦方案可針對分發(fā)到指定集群的應用資源進行自動覆寫操作，并封裝鏡像倉庫地址、啟動命令、標簽、注解等差異化策略，大大提升了多云差異配置效率；
• 跨云彈性伸縮：在多集群管控面統(tǒng)一制定彈性伸縮策略（包括指標、閾值、彈性范圍等），應用副本會在 VKE 和其他云的容器集群中跨多云集群進行 HPA 擴縮容，指標閾值判斷會考慮所有集群中的副本，擴縮容的副本也會遵循兩個集群的副本權重定義；
• 應用容災遷移：應用實例分發(fā)到多云集群環(huán)境后如果發(fā)生故障（例：因節(jié)點故障導致無法調度等），云原生集群聯(lián)邦方案會將故障實例自動重調度到其他健康集群中，結合服務網(wǎng)格跨集群容災能力，最大限度提升業(yè)務的高可用性。

上述方案中的多集群調度引擎 KubeAdmiral 目前已經(jīng)開源，也已經(jīng)過字節(jié)跳動內部超大規(guī)模（數(shù)十萬節(jié)點、千萬級核資源）集群管理實踐打磨，火山引擎云原生集群聯(lián)邦方案基于該引擎進行產(chǎn)品化能力增強，為用戶提供性能高、穩(wěn)定性強的多集群資源分發(fā)管理體驗。

多云流量治理：多地多中心統(tǒng)一調配和管理

雙云多活部署架構可以很好解決單云/單 region 資源瓶頸及單個云廠商故障快速容災切換問題，但在實際業(yè)務架構改造或多云遷移過程中，無法做到多云全量業(yè)務的對等部署，需要解決單云/單 region 部署服務的互聯(lián)互通和跨云服務訪問，保障多云場景下業(yè)務流程閉環(huán)。同時，當本 region 內的單個服務實例異常時，服務消費方需要及時感知并屏蔽服務提供方異常實例將流量自動調度至對端相同服務的可用實例，避免因長時間等待造成服務雪崩。

結合上述實際業(yè)務場景，火山引擎云原生團隊提供云原生集群聯(lián)邦方案、微服務引擎 MSE、API 網(wǎng)關產(chǎn)品組合方案，助力用戶快速落地多云雙活應用架構，解決跨云流量調度的多云服務尋址、就近路由訪問、自動故障轉移、多云流量觀測等核心問題，保障流量優(yōu)先在本 region 內閉環(huán)避免額外的跨云帶寬和業(yè)務性能損耗，通過精準流量調控策略實現(xiàn)自動 failover 收縮故障影響范圍。該方案的核心優(yōu)勢和關鍵能力包括以下內容：

多云注冊打通：在業(yè)務多云部署后，為了確保應用在多云部署后能夠互聯(lián)互通，首先需要能夠打通多云間的服務發(fā)現(xiàn)。同時為了保證注冊中心組件可靠性和數(shù)據(jù)一致性，一般會推薦在單云本地部署注冊中心。因此就需要具備多個注冊中心進行雙向同步，保證每個注冊中心都具備全量服務發(fā)現(xiàn)數(shù)據(jù)。火山引擎微服務引擎 MSE 提供兼容主流注冊中心（Nacos、Eureka 等）的同步引擎，構建注冊數(shù)據(jù)雙向同步鏈路，可實現(xiàn)多云場景下統(tǒng)一服務發(fā)現(xiàn)。如果采用 Kubernetes svc 服務尋址方式，為了在跨集群場景中不改變原有的服務發(fā)現(xiàn)的方式，MSE 會將不同集群的 svc 進行合并——在不同集群下，只要是在相同 namespace 下的同名 svc，都會被認為是相同的服務，能夠被對端集群消費方服務正常服務發(fā)現(xiàn)。

跨云流量調度：在業(yè)務多云部署的過程中，由于數(shù)據(jù)一致性、資源負載成本、業(yè)務改造等原因，部分有狀態(tài)業(yè)務、第三方開發(fā)業(yè)務等只能單云集中化部署，對于單云部署的應用，在應用層還需要提供跨云服務調用能力，保證在當前云上沒有部署下游服務時，能夠自動訪問到對端云上部署的服務。同時，如果本云中已經(jīng)部署了下游服務，則需要優(yōu)先調用本云。MSE 具備跨云流量調度能力，當服務實例啟動時，會將實例的歸屬地域自動寫入注冊中心元數(shù)據(jù)信息，消費方在路由調用時根據(jù)服務尋址列表的地域歸屬實現(xiàn)親和路由，保證流量優(yōu)先在本云閉環(huán)，同時 MSE 支持無侵入 java agent 和 sidecar 接入方式，用戶僅需在 deployment 引入 MSE 注解即可完成實例接入，無需代碼改造，極大降低業(yè)務遷移改造成本。

自動故障轉移：在業(yè)務多云部署后，由于業(yè)務發(fā)布、底層依賴故障等諸多原因，可能會造成單云上部署的某個服務不可用。在出現(xiàn)服務級別故障時，我們需要能夠根據(jù)健康檢測和熔斷策略自動發(fā)現(xiàn)故障，將請求調用到健康實例，并在故障恢復后自動回切。MSE 支持消費方在服務調用時會根據(jù)請求狀態(tài)碼識別下游實例健康狀態(tài)，達到指定閾值后主動剔除異常實例，當本云內的相同服務實例均檢測異常時，將自動 failover 至對端相同服務可用實例保障業(yè)務邏輯閉環(huán)；同時，本云的訪問實例達到隔離時間后，將自動注入少量流量判斷其恢復狀態(tài)，若達到健康閾值則恢復原有的就近路由調用，避免跨云調度額外帶寬損耗。

多云觀測：一站式跨云資源觀測

相比單個云上部署的應用、在多云環(huán)境構建應用的可觀測性會變得更復雜，主要會面臨以下挑戰(zhàn)：

• 基礎環(huán)境差異：不同云環(huán)境針對相同監(jiān)控對象（例如主機、容器、應用等）提供的性能指標可能不同，即便有相同指標，它們在不同環(huán)境中也可能具備不同的名稱和標簽，難以關聯(lián)使用；
• 觀測工具不統(tǒng)一：由于技術選擇和歷史負擔等因素，不同環(huán)境中可能采用不同的監(jiān)控工具。例如企業(yè)可能在私有云中使用商業(yè)化的觀測產(chǎn)品，而在公有云中選擇云廠商提供的觀測產(chǎn)品或基于開源組件自建 ，導致多種組件共存，數(shù)據(jù)無法互訪；
• 觀測數(shù)據(jù)孤島：因技術選擇不一致，監(jiān)控信息通常分散存儲，獲取指標需要對接多個數(shù)據(jù)源；觀測數(shù)據(jù)分散在不同的地理位置，無法有效聚合和統(tǒng)一展示。

以上挑戰(zhàn)都導致最終觀測數(shù)據(jù)難以統(tǒng)一查詢、聚合和可視化，導致無法對多云的觀測數(shù)據(jù)進行統(tǒng)一查詢和使用，無法構建一個全局視角的監(jiān)控大盤，管理員也無法一目了然地了解所有集群的狀態(tài)和性能。

對于云上業(yè)務來說，觀測領域核心關注的主要是指標、trace 與日志三類觀測數(shù)據(jù)。指標數(shù)據(jù)可以借助火山引擎托管 Prometheus VMP 實現(xiàn)多云指標的統(tǒng)一采集和監(jiān)控告警，trace 與日志數(shù)據(jù)可以借助火山引擎日志服務 TLS 實現(xiàn)多云環(huán)境下的統(tǒng)一分析和查詢，幫助企業(yè)輕松管理跨云資源。

指標數(shù)據(jù)多云觀測

在業(yè)務多云部署后，企業(yè)用戶往往需要統(tǒng)一多云集群監(jiān)控運維方式，使用多云一致的數(shù)據(jù)采集能力抹平環(huán)境差異、降低采集組件改造和維護成本，同時也需要統(tǒng)一的數(shù)據(jù)查詢入口，最終形成統(tǒng)一的監(jiān)控視圖。這種設計有助于運維人員從全局視角對分布在不同環(huán)境的集群和應用進行統(tǒng)一監(jiān)控運維，一目了然地了解業(yè)務在不同云上的用量和健康情況。

火山引擎托管 Prometheus VMP 通過與平臺的無縫集成，實現(xiàn)了監(jiān)控數(shù)據(jù)采集、元數(shù)據(jù)、存儲、視圖和告警五個方面的統(tǒng)一指標監(jiān)控能力：

• 統(tǒng)一監(jiān)控采集：VMP 可以在不同的云環(huán)境中部署統(tǒng)一的數(shù)據(jù)采集組件 VMP Agent，后者能夠統(tǒng)一采集節(jié)點、容器、GPU 等監(jiān)控指標，也支持在通過 ServiceMonitor 配置服務發(fā)現(xiàn)，采集業(yè)務自定義指標；
• 統(tǒng)一元數(shù)據(jù)：通過統(tǒng)一的采集組件抹平不同環(huán)境元數(shù)據(jù)差異，同時增加多云場景下用戶關心元數(shù)據(jù)，例如會給不同云廠商的指標增加廠商 label；
• 統(tǒng)一數(shù)據(jù)存儲：通過在各個云上部署 VMP Agent，可以將多云集群觀測數(shù)據(jù)統(tǒng)一收集到同一個 VMP 工作區(qū)中——將數(shù)據(jù)統(tǒng)一存儲到相同的數(shù)據(jù)源有助于輕松實現(xiàn)多集群數(shù)據(jù)的統(tǒng)一查詢，不需要使用額外的代理組件（如 vmproxy 進行聚合查詢）；
• 統(tǒng)一監(jiān)控視圖：基于 Grafana 提供統(tǒng)一的多云多集群監(jiān)控視圖，支持多種資源維度的可視化，包括集群組、集群、節(jié)點、命名空間、工作負載和容器等，并支持下鉆與關聯(lián)分析；
• 統(tǒng)一告警：基于統(tǒng)一觀測數(shù)據(jù)和 VMP 預制的告警模板，可以在 VMP 中為多個集群配置相同的告警規(guī)則，如節(jié)點水位過高或工作負載重啟，大大降低了告警策略的配置維護工作量。

trace&log 數(shù)據(jù)多云觀測

• 多云采集：

TLS 日志服務支持多云統(tǒng)一采集和管理日志，并且提供日志分析的 iFrame 外嵌能力，將查詢分析集成到用戶自己的運維系統(tǒng)，簡化業(yè)務使用方使用成本，提高使用效率

支持 Kubernetes deamonset 方式和 sidecar 方式收集容器日志

支持基于 Otel 標準的 trace 收集能力

• 實時分析：海量車機系統(tǒng)運行日志信息的實時寫入，并通過模糊檢索&SQL 函數(shù)幫助業(yè)務、運營、開發(fā)、運維人員快速分析定位問題、滿足各業(yè)務使用方日志實時分析能力；
• 函數(shù)加工：提供超過 200+函數(shù)，包括：SQL 統(tǒng)計函數(shù)、聚合函數(shù)、字符串函數(shù)、IP 函數(shù)、編解碼函數(shù)、時間函數(shù)，實現(xiàn)各種復雜場景下的統(tǒng)計分析需求；
• 觀測治理：提供豐富的報表組件與儀表盤，以及多種高級儀表盤：IP 地址熱力圖、統(tǒng)計圖、計量圖、矩陣圖、時間軸等，為運營監(jiān)控提供豐富的可視化運營看板，為運維提供端到端的可觀測能力；
• 監(jiān)控告警：通過靈活的 SQL 查詢分析能力結合多渠道告警能力（郵件/電話/短信/釘釘/飛書/企微/自定義渠道等），實現(xiàn)業(yè)務維度的服務狀態(tài)實時監(jiān)控。

多云網(wǎng)絡：根據(jù)需求動態(tài)調配資源

相比單云部署，多云在網(wǎng)絡架構上更加復雜，通過火山引擎專線連接、云企業(yè)網(wǎng)、中轉路由器、私網(wǎng)連接等網(wǎng)絡產(chǎn)品，企業(yè)在實施過程中可以構建一張靈活、高可用的混合云網(wǎng)絡：

• 通過 專線連接 方式連接多云之間的業(yè)務網(wǎng)絡，通過專線 & Ipsec VPN 連接方式連接辦公與云上網(wǎng)絡。為了解決專線各種故障場景下（如端口異常/光模塊故障、網(wǎng)絡設備故障、接入點機房故障等）的可靠性問題，我們推薦客戶采用雙接入點四線負載冗余專線的形式連接：兩條物理專線分別接入不同機房的專線接入點，配合云企業(yè)網(wǎng)&中轉路由器產(chǎn)品構建多線負載冗余，正常情況下多條物理專線同時轉發(fā)流量，當一條線路故障不通時，另一條線路會承擔全部流量的轉發(fā)，以確保業(yè)務正常。同時通過劃分專線網(wǎng)關和虛擬接口，并設置合理的 QoS，關鍵業(yè)務流量質量得以被充分保障；
• 根據(jù)長城汽車業(yè)務的隔離與管理需求，不同業(yè)務之間建設在多個賬號多個 VPC 下，建設多云后需要實現(xiàn)多云之間多 VPC 網(wǎng)絡環(huán)境私網(wǎng)互通與隔離。通過使用云企業(yè)網(wǎng)（CEN）和中轉路由器（TR）跨地域連接能力，關聯(lián)專線連接、VPN 連接、VPC 網(wǎng)絡實例，我們可以實現(xiàn)多云網(wǎng)絡私網(wǎng)互通。同時，通過中轉路由器劃分多個路由表、配置靜態(tài)路由策略，我們可以實現(xiàn)自定義組網(wǎng)架構，滿足業(yè)務網(wǎng)絡隔離需求。此外，不同 VPC 對服務資源的私網(wǎng)訪問也可以借助私網(wǎng)連接產(chǎn)品建立私密的網(wǎng)絡連接來實現(xiàn)。

未來展望

未來，火山引擎云原生團隊將繼續(xù)推動并深化與長城汽車的合作，在多云容災等領域進行更深入的合作，更好地保障業(yè)務連續(xù)性。我們也希望能幫助更多企業(yè)積極利用不同云廠商的特點和優(yōu)勢，通過統(tǒng)一多云管理、統(tǒng)一流量調度、統(tǒng)一多云觀測，保障系統(tǒng)的高可用和性能優(yōu)化。