EMR on ACK 全新發(fā)布，助力企業(yè)高效構(gòu)建大數(shù)據(jù)平臺

作者：佚名 2021-09-06 13:43:03

阿里云 EMR on ACK 為用戶提供了全新的構(gòu)建大數(shù)據(jù)平臺的方式，用戶可以將開源大數(shù)據(jù)服務(wù)部署在阿里云容器服務(wù)（ACK）上。利用 ACK 在服務(wù)部署和對高性能可伸縮的容器應(yīng)用管理的能力優(yōu)勢，用戶只需要專注在大數(shù)據(jù)作業(yè)本身。

一、背景介紹

技術(shù)趨勢

存儲與計(jì)算分離，向云原生演進(jìn)
在線業(yè)務(wù)、AI、大數(shù)據(jù)統(tǒng)一接入 ACK 集群，錯峰調(diào)度，離線在線混部，提升機(jī)器利用率
統(tǒng)一運(yùn)維入口，統(tǒng)一運(yùn)維工具鏈，統(tǒng)一監(jiān)控體系
以集群為中心->以作業(yè)為中心
多版本支持，例如可以同時跑 Spark2.x、Spark3.x

云原生面臨挑戰(zhàn)

計(jì)算與存儲分離：如何構(gòu)建以對象存儲 OSS 為底座的 HCFS 文件系統(tǒng)

需要完全兼容現(xiàn)有的 HDFS

性能對標(biāo) HDFS，成本降低

計(jì)算引擎 shuffle 數(shù)據(jù)存算分離：如何解決 ACK 混合異構(gòu)機(jī)型

異構(gòu)機(jī)型沒有本地盤

社區(qū)[ Spark-25299]討論，支持 Spark 動態(tài)資源，成為業(yè)界共識

ACK 調(diào)度能力：如何解決調(diào)度性能瓶頸

性能對標(biāo) Yarn

多級隊(duì)列管理

錯峰調(diào)度

借助 K8s 操作系統(tǒng)能力，編排組織各種業(yè)務(wù)的波峰波谷

EMR on ACK 優(yōu)勢

Remote Shuffle Service 提供中間 shuffle 數(shù)據(jù)的存儲計(jì)算分離方案

可以使計(jì)算節(jié)點(diǎn)無需本地盤和云盤

支持打開 Spark 動態(tài)資源功能，Spark-25299 終極方案

JindoFS 針對 OSS 存儲提供湖加速解決方案

Block 模式1TB TPCDS 場景下有15%以上的性能提升

調(diào)度層面支持 Scheduler Framework V2

調(diào)度性能比社區(qū)提升3x以上

提供多級隊(duì)列管理

引擎能力增強(qiáng)

10TB TPCDS Benchmark 場景下，EMR Spark 比社區(qū)有3x性能提升

Hudi、DeltaLake 比社區(qū)功能性能增強(qiáng)

完整的錯峰調(diào)度方案

二、EMR 容器化架構(gòu)

EMR on ACK 架構(gòu)

輕量化管控，對接已有數(shù)據(jù)平臺
通過數(shù)據(jù)開發(fā)集群/調(diào)度平臺提交到不同的執(zhí)行平臺
錯峰調(diào)度，根據(jù)業(yè)務(wù)高峰低峰策略調(diào)整
云原生數(shù)據(jù)湖架構(gòu)，ACK 彈性擴(kuò)縮容能力強(qiáng)
ACK 管理異構(gòu)機(jī)型集群，靈活性好

三、產(chǎn)品介紹

產(chǎn)品首頁

參考鏈接：https://www.aliyun.com/product/emapreduce