成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

性能提升20%,字節跳動HTTPDNS從中心下沉到邊緣

云計算
由于HTTPDNS服務全面覆蓋字節跳動頭部APP,在節約成本以及性能優化上存在強烈訴求,在此背景下HTTPDNS團隊經過調研,決定將HTTPDNS服務從中心遷移至邊緣,以下將從實踐難點、解決方案和收益多個維度分享詳細落地過程。

摘要:本文介紹了HTTPDNS服務從中心遷移至邊緣詳細的落地過程。主要內容為:

  1. HTTPDNS下沉邊緣實踐遇到的挑戰,包括服務放置、流量調度
  2. HTTPDNS下沉邊緣解決方案
  3. 從性能、成本出發,談談HTTPDNS下沉邊緣后的收益

傳統的DNS流程中,客戶端基于UDP協議向Local DNS服務器發送DNS查詢請求,這個過程中會存在緩存刷新不可控、DNS劫持、解析結果跨網、解析超時等風險,近年來,HTTPDNS解決方案逐漸興起。HTTPDNS是面向多端應用(移動端APP,PC客戶端應用)的域名解析服務,通過使用HTTP或HTTPS協議替代傳統的UDP協議,客戶端的域名解析請求直接由HTTPDNS服務器接收和響應,實現了域名防劫持、精準調度、解析結果及時生效

以字節跳動內部業務為例,如抖音、今日頭條、西瓜視頻和番茄小說等,QPS峰值達千萬級,解析請求量日達萬億次,日常流量極大,為保障業務穩定運行,應用了火山引擎移動解析HTTPDNS(以下簡稱HTTPDNS)為域名提供遞歸DNS服務,支撐起超大解析請求量。

由于HTTPDNS服務全面覆蓋字節跳動頭部APP,在節約成本以及性能優化上存在強烈訴求,在此背景下HTTPDNS團隊經過調研,決定將HTTPDNS服務從中心遷移至邊緣,以下將從實踐難點、解決方案和收益多個維度分享詳細落地過程。

一、HTTPDNS下沉邊緣實踐挑戰

1.服務放置

由于邊緣計算節點分散、基礎設施異構等原因,邊緣服務放置一度成為下沉邊緣過程中的研究熱點,現有方案在處理邊緣放置問題時,會將其轉化為指定場景下資源約束的目標優化問題,針對成本、質量、流量方向,行業內均有對應研究:

  • 針對成本,有研究通過多云的模式進行最小冗余成本建模,來實現資源動態分配。
  • 針對質量,有研究通過構建服務依賴模型、最佳冗余動態算法保障可靠性,以及成本和質量均衡模型,來實現質量保障。
  • 針對流量,有研究從流量遷移、設備移動、時空軌跡以及資源預部署等,實現流量穩定遷移。

在實際應用過程中,流量及設備遷移特征顯著、邊緣節點性能差異、穩定性波動大等因素,會干擾現有放置問題模型,因此需要進一步探索基于流量特征和邊緣節點資源質量的放置問題

2.流量調度

邊緣計算的流量調度場景主要分為端邊調度和云邊調度,部分場景會出現邊邊調度。不同調度階段擁有相對成熟的調度技術,包括基于DNS的端邊調度、基于BGP ANYCAST的骨干網路由調度以及云網絡下的云原生流量調度。

圖片

實踐過程中面臨的流量調度挑戰,主要圍繞著端邊調度和云邊調度:

  • 端邊調度挑戰:5G和工業互聯網接入的大量異構設備,以及設備遷移導致的流量波動,是端邊調度需要應對的主要挑戰。解決這一問題可借助云邊協同作業與全局分布式調度的策略。然而,實際操作遇到的難題主要在于缺乏精確的調度手段,并且未能充分利用客戶端與邊緣節點之間協同聯動的潛力。盡管通過實時流量感知配合機器學習進行訓練是一種可行的方法,但這種方案處理的數據量巨大,導致應用成本過高,難以滿足現實需求。
  • 云邊調度挑戰:邊緣計算由于其固有特性,在處理大規模集中式數據方面相較于傳統中心化架構存在一定局限性。因此,云邊協同的流量處理和計算模式采納了業界廣泛認可的計算架構,云邊調度發揮了云計算與邊緣計算各自的優勢,達成數據和流量的更高效處理。然而,邊緣計算在資源分配上仍面臨局部不足與全局分散的挑戰。舉例來說,在約束優化路由模型中,評價指標有時與實際業務場景不符,未能充分考慮用戶體驗。此外,行業內某些區域分層調度模型在實際應用中遇到了邊緣基礎設施不統一的問題,同時區域內及區域間的容災問題也尤為突出。

二、HTTPDNS下沉邊緣解決方案

1.可視化評價模型指導服務放置

針對基于流量特征和邊緣節點資源質量的放置問題,在實踐過程方案,HTTPDNS團隊不斷進行嘗試優化,最終選擇通過使用全鏈路的撥測和數據采集方法,基于實時數據驅動的模式,進行在線的放置算法仿真訓練,形成可視化的評價模型,以指導HTTPDNS服務在邊緣機房的節點選擇和服務放置。基本流程如下圖:

圖片

2.接入GTM打造調度解決方案

針對流量調度挑戰,由于內部服務采用域名(配合兜底策略)的接入方式,接入域名配置DNS智能解析實現用戶就近訪問邊緣接入節點。考慮到邊緣接入節點IP的網絡服務可靠性和質量對比IDC機房優勢不明顯,因此HTTPDNS團隊最終決定引入云調度GTM解決調度問題。

火山引擎云調度GTM基于解析進行流量調度,可以實現流量的就近接入(地理位置/性能)、負載均衡。GTM借助分布式、多協議健康檢查能力來實現故障容災(Failover),諸如“同城容災”、“異地多活”等場景。此外GTM還提供了多云環境下的流量編排、資源粘合能力,可視化的健康檢查數據分析、操作日志等功能幫助排查定位問題,便于日常運維。

重點應用:

  • 智能調度:通過云調度GTM的「智能調度-容量優先」模式實現基于機房容量的智能調度,在滿足機房容量的前提下生成全局時延最低的DNS調度規則,從而能夠在邊緣節點割接/故障時實現自動容災;
  • 故障容災:支持邊緣節點通過控制臺、API接口和Agent的方式上報節點容量等信息,基于節點的數據上報情況和健康檢查探測的情況,云調度GTM作為策略中心更新和下發調度策略,實現邊緣節點的故障容災。

圖片

調度解決方案優勢:

  • 建設成本低:部署輕量,架構侵入較小,建設成本較低;整體配置和管理簡單;
  • 動態調度保障性能最優:在邊緣多節點、多機房的場景下,能夠基于性能和容量進行動態調度,在確保機房水位低于目標水位的前提下實現全局性能最優;
  • 支持可視化:支持調度配置和結果的可視化展示、健康檢查可視化查詢。

圖片

圖片

應用火山引擎云調度GTM來實現容量調度是一次新的嘗試,在全面接入云調度GTM之后,對比傳統域名智能解析調度模式,邊緣節點容量調度模式能從性能、容災、成本等方面帶來收益,也驗證了云調度GTM在方案中不可或缺的重要性。

調度解決方案收益:

指標類型

指標

收益

總結

性能

請求時延

平均接入時延 -5.01%(-11ms)

整體延時優化5%
流量調度漂移減少 15%

請求成功率

持平

TTFB

平均 TTFB -4.1%(-3.5ms)

流量波動

cpu負載波動標準差:5%->1%,優化80%

容災

自動容災成功率

100%

智能解析線路級故障感知
60 秒自動容災

邊緣故障感知耗時

60s

流量收斂時長

3min 90%+收斂

成本

帶寬成本

回源帶寬降低 10%

運維:配置、切流管理,完全自動托管
容災:從預案模式10分鐘, 到自動容災1 分鐘
資源成本:cpu冗余量可減少 20%

成本

運維成本

易用:基于容量&性能矩陣,均勻分流。僅需要用戶維護機房容量信息。

好用:火山控制臺一鍵完成調度策略計算,流量調度結果支持可視化。機房故障自動重調度,機房裁撤一鍵完成流量重分配。

復雜場景支持:新建機房快速完成接入調度。大面積故障場景容災自動化高。

三、更強大的解析調度,性能提升20%+

實踐過程持續了六個月時間,在成本優化與性能提升方面均取得顯著效果。

1.成本優化

總成本優化約35%,其中負載均衡資源優化約50%,計算資源優化約30%,帶寬成本優化約70%,且最終實現了邊緣集群總容量千萬 QPS 級別,與中心機房完全互備。

2.性能提升

完成從中心到邊緣的遷移后,火山引擎移動解析HTTPDNS服務性能出現顯著提升,對比同類服務出現顯著優勢。

在邊緣服務建設完成后,我們逐步將原中心機房承載的千萬 QPS 級別流量遷移到邊緣服務集群上。根據實際的性能提升情況, 先后將全國大部分區域的三大運營商接入流量遷移到邊緣。在這個過程中,我們關注并采集流量的網絡指標變化數據,各個區域均有性能收益,詳見下表:

下沉區域

總耗時-平均值-差異百分比(%)

總耗時-50分位-差異百分比(%)

TTFB-平均值-差異百分比(%)

TTFB-50分位-差異百分比(%)

西南

-15

-44

-38

-64

西北

-16

-36

-36

-47

東北

-10

-14

-15

-23

華北

-16

-41

-29

-63

華中

-23

-50

-37

-70

華南

-7

-15

-11

-36

為了能夠更直觀感受火山引擎移動解析HTTPDNS服務與其他HTTPDNS服務的性能數據對比,我們使用國內主流的第三方撥測平臺,進行了近千個撥測節點、覆蓋全國的撥測對比。從撥測結果可以看出,不論是從地理位置上,還是分運營商討論,火山引擎移動解析HTTPDNS都在首屏時間、建立連接時間、首包時間和內容下載時間上表現優異,最終實現總下載時間實現領先。

全國:

廠商

總下載時間(s)

首屏時間(s)

建立連接時間(s)

首包時間(s)

內容下載時間(s)

火山 HTTPDNS

0.252

0.254

0.024

0.026

0.037

其他-1 HTTPDNS

0.279

0.282

0.035

0.04

0.039

其他-2 HTTPDNS

0.327

0.329

0.05

0.063

0.039

分運營商:

運營商

廠商

總下載時間(s)

首屏時間(s)

建立連接時間(s)

首包時間(s)

內容下載時間(s)

中國電信

火山 HTTPDNS

0.26

0.263

0.023

0.027

0.031

中國聯通

火山 HTTPDNS

0.242

0.244

0.024

0.026

0.04

中國移動

火山 HTTPDNS

0.256

0.257

0.024

0.026

0.038

中國電信

其他-1 HTTPDNS

0.287

0.291

0.034

0.04

0.034

中國聯通

其他-1 HTTPDNS

0.272

0.275

0.036

0.041

0.043

中國移動

其他-1 HTTPDNS

0.279

0.28

0.036

0.038

0.041

中國電信

其他-2 HTTPDNS

0.33

0.333

0.049

0.061

0.033

中國聯通

其他-2 HTTPDNS

0.33

0.332

0.053

0.068

0.043

中國移動

其他-2 HTTPDNS

0.32

0.321

0.049

0.06

0.041

總結

整體下沉實踐方案中,HTTPDNS團隊不斷進行新嘗試,探索并應用了基于GTM的反饋式調度模型,更好地應對了邊緣計算資源局部緊張、全局分散以及穩定性抖動頻繁的挑戰,從而弱化邊緣放置問題帶來的資源開銷,并提升流量調度效率、資源利用率以及降低容災和運維難度。

通過下沉邊緣,HTTPDNS進一步優化使用成本,提升服務性能,而此次實踐通過將HTTPDNS服務從中心云架構遷移至邊緣云架構模式,使邊緣計算在互聯網傳統業務場景中得到應用,也是邊緣云云原生的一次工程探索實踐。

本項目應用了火山引擎邊緣計算多個產品服務,不僅使用了邊緣網絡提供的四、七層負載均衡產品,還將HTTPDNS服務全部運行在邊緣容器上,通過彈性公網IP完成邊緣服務的回源以及控制。HTTPDNS聯動邊緣計算打造的下沉邊緣實踐案例,作為行業實踐,希望為同行業提供一些有益參考。

圖片

未來,HTTPDNS團隊將持續探索邊緣計算容器化彈性調度技術的應用,應對億級接入、千萬QPS流量所帶來的流量遷移、接入抖動問題,并進一步提升設備利用率并節約成本。

責任編輯:龐桂玉 來源: 字節跳動技術團隊
相關推薦

2022-02-18 09:40:44

云原生邊緣計算云計算

2018-12-18 08:35:55

2022-03-21 17:56:59

大模型訓練訓練框架

2022-03-21 15:06:10

模型字節跳動框架

2020-09-17 09:42:26

TikTok

2023-02-21 14:16:42

2023-10-20 08:12:00

JDK21線程池配置

2023-04-07 12:30:04

開源ShmipcIPC

2024-09-25 15:57:56

2024-01-19 13:23:44

字節跳動薪資互聯網

2024-06-07 14:17:53

2025-02-20 08:00:00

2024-01-03 16:29:01

Agent性能優化

2023-10-18 11:56:17

開源AI

2024-10-11 17:22:44

2022-05-17 17:18:40

Kite字節跳動微服務框架

2024-12-11 08:47:47

2022-08-21 21:28:32

數據庫實踐

2024-04-23 10:16:29

云原生

2023-01-10 09:08:53

埋點數據數據處理
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 99久久日韩精品免费热麻豆美女 | 男人天堂网址 | 最新午夜综合福利视频 | 国产欧美精品一区二区色综合 | 一本大道久久a久久精二百 国产成人免费在线 | 日韩二三区 | 日韩成人在线播放 | 性色网站 | 一区二区三区国产精品 | 久久久做| 亚洲成人一级 | 精品国产一区久久 | 国产性色视频 | 中文字幕电影在线观看 | 在线中文字幕视频 | 在线日韩精品视频 | 91久久精品一区二区二区 | 日韩一区二区视频 | 伊人手机在线视频 | 久久天堂 | 国内成人免费视频 | 久久噜噜噜精品国产亚洲综合 | 亚洲成人一区二区 | 日本不卡视频 | 精品综合久久久 | 国产电影一区 | 一级毛片中国 | 久久er精品 | 欧美一二区 | 国产九一精品 | 亚洲五码在线 | 国产精品成人国产乱一区 | 1级黄色大片 | 福利在线看 | 天天综合成人网 | 日韩二区 | 欧美又大粗又爽又黄大片视频 | 玖玖视频免费 | 91电影院 | 成人黄色电影免费 | 亚洲三级在线 |