華為云發布全新容器解決方案 加速云原生技術商用進程
原創【51CTO.com原創稿件】近年來,隨著云計算的快速發展,企業在傳統應用方面的投資正在縮減,對云原生應用的投資則在逐步增長,數字化轉型趨勢下的云原生時代正在來臨。華為云作為云原生計算基金會(Cloud Native Computing Foudation,CNCF)的初創成員,始終致力于深耕云原生技術,圍繞多云、智能、異構和邊緣四大發展趨勢,進行持續創新,輸出云技術及開源成果,助力更多企業實現云原生和數字化轉型。
9月19日,在第四屆HUAWEI CONNECT 2019(華為全聯接大會)上,華為云正式對外發布了容器多云混合云解決方案2.0版本以及全新的高性能批量計算解決方案,幫助企業級用戶構建更大規模的容器混合云平臺,釋放多元算力,助力計算密集型企業徹底解決Kubernetes容器中的算力問題。
容器多云混合云2.0 助推企業容器化發展進入新時代
傳統企業出于對IDC資產的保護以及降低IT投入和維護成本的綜合考量,都會考慮混合云,而像業務量龐大的頭部互聯網企業,從業務穩定性和連續性的角度出發,也必然要面臨多云的選擇。如今,多云、混合云已不再是技術的發展趨勢,而是真真切切的市場訴求。
據了解,華為云容器多云混合云解決方案的1.0版本于今年3月發布,是云原生技術領域較早實現商用的多云、混合云管理平臺,比Google發布的Anthos早了將近一個月。
從技術角度來看,多云混合云自下而上分為資源混合、數據混合以及應用混合三個層次,非容器的多云混合云解決方案關注的是網絡和數據,尤其是中間件,例如數據庫、緩存、消息等。華為云容器多云混合云重點關注從應用視角出發的全棧解決方案,基于KubeFed(Federation V2)和Istio的核心能力,將不同云之間的Kubernetes集群統一管理起來,并通過Istio的智能路由能力,打通下層的網絡與數據,為用戶提供真正的一站式“應用跨云”解決方案,實現業務請求的跨云分發,破解了第二類的應用層混合管理難題。
據華為云應用管理服務域總經理方璞透露,華為云容器平臺在安全、易用、可靠、生態等方面的優勢及特性,獲得了來自上百家大型企業客戶的普遍認可,但對容器平臺能否良好地支撐企業現有的大規模核心業務仍存顧慮,因此對規模、性能、快速彈性、容災恢復等一系列關鍵指標提出了更高的要求。
本次發布的容器多云混合云解決方案2.0版本由CCE、MCP、ASM等若干云服務產品組成,開箱即用,相比1.0版本支持更大的集群管理規模、更快的網絡和存儲、更高效的運維與監控,可以很好地滿足互聯網企業核心業務容器化大規模部署的難題,還可以輕松應對業務高峰期的快速擴容,確保業務的高可用。
首先,單集群支持10000節點的管理規模,并將節點擴容能力提升到30秒擴容100虛機,遠遠領先于同類產品,同時支持百萬容器的管理和服務治理、運維監控。
其次,容器存儲Everest統一了容器卷的管理,將不同類型存儲的創建、刪除、查詢、遷移、備份等操作接口標準化,極大簡化了容器存儲的管理和使用;同時,構建了百萬IOPS的高性價比的容器存儲,在圖形渲染、AI計算、基因數據分析、大數據等海量數據讀寫的場景更具優勢。
再次,新一代容器網絡Yangtse,在大規模場景下,容器網絡發放與接通的速度均取得了跨越式增長,1萬容器Port發放只需1分鐘,容器網絡接通速度小于1秒。
第四,容器監控Glacier支持跨云應用的全景監控,支持社區的原生Prometheus生態,結合集群聯邦與策略引擎,實現了30秒應用跨云的自動彈性。
熟悉技術的人都知道,Kubernetes源自古希臘語,譯為舵手,而Istio的logo則是一個小帆船,華為云期望彌合云原生落地過程中的鴻溝,將開源領域的小船變成滿足企業級生產的Kubernetes大型軍艦(Vessel),駛向大型企業,推動開源生態的快速發展。華為云將依托更大規模的集群管理能力、更快的容器網絡和存儲、更完善的監控管理能力,滿足企業核心業務上云的綜合訴求,從試水業務容器化創新,進入核心業務容器化的深水區,助推企業容器化發展進入了新時代。
圍繞三大領域破解高性能批量計算痛點
同期發布的全新華為云高性能批量計算解決方案,將去年發布的基因容器服務、AI容器服務以及新的大數據容器服務統一到Volcano高性能容器批量計算平臺之上,具備智能和異構兩大特性,北向支持多種AI計算框架,南向支持Ascend+Kunpeng的多元異構算力——更快的算力獲取,更高性能的網絡、存儲,能夠為大數據、基因及泛互聯網行業等海量數據分析場景提供高性能的批量計算能力。
大數據容器
基于存算分離的容器化大數據解決方案,大數據分析效率提升40%,彌補了當前主流容器大數據平臺的不足,在調度、任務管理、功能等方面,可以匹敵甚至優于傳統的Spark on Yarn方案。Yarn是Hadoop生態系統中的核心調度引擎,Yarn的文件系統HDFS采用存算一體化架構,計算和存儲的比例固定,計算資源的利用率一般不到50%,顯然不符合實際的業務需求。
伴隨云計算和大數據的快速發展,越來越多的大數據公司開始將其大數據業務運行在Kubernetes上,在這一趨勢下,如何讓Kubernetes支撐Spark上各種面向大數據的交易機制,正是Volcano解決的問題。大數據容器采用存算分離架構,通過OBS使存儲和計算資源可以根據業務需要,各自進行彈性擴展和靈活配置,從而使資源匹配更精準、合理,大幅提升了大數據集群資源的利用率。測試數據表明,大數據容器的分析效率可以提升40%,綜合成本可降低50% 。
基因容器
在去年的HC大會上,華為云發布了基因容器服務GCS,提供大規模的算力資源池,大幅提升了基因數據的分析效率,助力華大、希望組等國內頭部企業破解了基因測序成本高、效率低、門檻高的三大難題。據悉,目前國內基因行業Top10的企業中,已有5家采用了華為云的基因容器服務。
與之前相比,本次發布的基因容器在功能和性能上均有重大升級, 30X的全基因組測序(WGS)場景,測試效率與傳統方案相比提升10倍?;蛉萜鹘鉀Q方案新增了以容器方式實現生信領域廣泛使用的SGE集群管理能力,使得傳統線下生信分析環境可以無縫遷移上云,獲得輕量級容器技術帶來的諸多益處。此外,基因容器GCS現已支持世界先進生物實驗室發布的流程引擎Cromwell,開發者只需提供標準的WDL流程,就可以在遵從GA4GH(全球基因組學與健康聯盟)統一標準的前提下,以業界一致的對話方式,按需按秒的進行WDL基因數據分析。
AI容器
AI容器原生支持10種以上業界主流的深度學習框架,除各大社區中的開源框架外,還包含華為全場景AI計算框架MindSpore等新型框架,AI模板訓練效率提升3至5倍。與去年發布的AI容器相比,采用Volcano調度引擎的新版AI容器解決方案,提升了對“鯤鵬+昇騰+X86+GPU”的混合調度能力,任務調度性能與業界相比高出10倍。除此之外,華為云AI容器在計算性能及資源利用率等方面均有大幅提升,性價比提升30%以上。
據悉,在斯坦福大學今年5月發布的DAWNBench榜單中,華為云ModelArts以2分43秒的成績在圖像識別訓練中奪魁,其背后就離不開Volcano的算力支撐。
在AI計算場景,AI容器在圖像識別、自然語言處理、智能監控、自動駕駛,以及近期大熱的AI換臉等主流場景均有豐富實踐。實際上,不同客戶在不同場景下的核心訴求也各有不同,既有面向大規模分布式訓練的高性能需求,也有簡化開發調試工作的需求,還有更優性價比方面的需求。方璞表示,華為云AI容器解決方案將在實踐中不斷優化,逐步提升在性能、性價比、開放性、使用體驗等方面的綜合能力,滿足各類用戶的差異化需求。
展望未來
隨著云計算技術的飛速發展,以云原生應用、數據和AI為驅動的Cloud2.0時代悄然來臨,云原生在互聯網領域的應用逐漸進入深水區,云原生開源技術已無法滿足企業級客戶在生產業務上的綜合訴求,這也是促進容器解決方案不斷提升集群規模、監控、網絡、存儲等性能的主要驅動力。
數字化轉型大潮下,金融、汽車、政務等傳統行業的大型企業正在積極擁抱云原生,運用人工智能、大數據、云計算等技術向泛互聯網的方向轉型,隨著5G的到來,邊云協同的趨勢下,云原生技術必將在泛互聯網領域以及傳統行業加速落地。
接下來,華為云將結合不同行業用戶的訴求,在實際項目交付的過程中,通過持續迭代推出具有高價值的產品,讓容器解決方案能夠更貼合實際場景,幫助用戶破解行業中的業務難題。另一方面,華為云將繼續加強與CNCF社區間的合作,進一步探索云原生的新趨勢,通過在業務領域進行創新嘗試,繼續為云原生在下一階段的發展指引方向。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】