成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

配置了 RocksDB,Flink 中所有狀態數據都會存在 RocksDB 嗎?

開發 架構
在說背景前,先說一下標題的結論:你配置的 rocksdb 只會影響 flink 任務中 keyed state 存儲的方式和地方,flink 任務中的 operator state 不會受到影響。

[[439893]]

1.大家首先要知道的一些背景

在說背景前,先說一下標題的結論:你配置的 rocksdb 只會影響 flink 任務中 keyed state 存儲的方式和地方,flink 任務中的 operator state 不會受到影響。

狀態:狀態就是用戶在程序中使用的數據結構。比如 flink 中的 MapState,ValueState,ListState。在一個 flink 任務中,不管我們使用了多少狀態,這些狀態只會分為 operator state,keyed state 兩類狀態。

狀態管理:為了防止 long run 的 flink 任務掛了導致狀態丟失,產生數據質量問題,flink 提供了狀態管理(Checkpoint,Savepoint)的能力把我們使用的狀態給管理起來,定時的保存到遠程。然后可以在 flink 任務 failover 時,從遠程把狀態數據恢復到 flink 任務中,保障數據質量。

狀態后端:狀態后端就是決定了以什么樣數據結構,什么樣的存儲方式去存儲和管理我們的狀態。flink 目前官方提供了 memory、filesystem,rocksdb 三種狀態后端來存儲我們的狀態。

2.在配置不同的狀態后端時,到底對 flink 任務有什么影響

其實所有的內容都濃縮到了這樣圖中:

sql 開發

橫向(行)來看,分為 Operator state-backend、Keyed state-backend 來管理一個 flink 任務中的所有狀態(operator state,keyed state)

縱向(列)來看,用戶可以通過配置 memory,filesystem,rocksdb,在 flink 任務中生成 MemoryStateBackend,FsStateBackend,RocksdbStateBackend,其聲明了整個任務的狀態管理后端類型

每個格子中的內容就是用戶在配置 xx 狀態后端(列)時,給用戶使用的狀態(行)生成的狀態后端實例,生成的這個實例就是用于管理用戶使用的狀態的。

那么可以得到的結論就是:

 

  • flink 任務中的 operator state。無論用戶配置哪種狀態后端(無論是 memory,filesystem,rocksdb),都是使用 DefaultOperatorStateBackend 來管理的,狀態數據都存儲在內存中。
  • flink 任務中的 keyed state,會有不同。用戶在配置 rocksdb 時,會使用 RocksdbKeyedStateBackend 去管理狀態;用戶在配置 memory,filesystem 時,會使用 HeapKeyedStateBackend 去管理狀態。
  • 那么也就是說,你配置的 rocksdb 只會影響 keyed state 存儲的方式和地方,operator state 不會受到影響。

 

責任編輯:武曉燕 來源: 大數據羊說
相關推薦

2018-03-07 13:21:26

RocksDB數據存儲

2024-12-12 09:24:28

RocksDB服務器

2022-08-31 08:04:08

Ceph配置選項

2023-12-06 21:44:28

RocksDBvivo

2018-02-07 16:05:59

MySQLMyRocksRocksDB

2011-12-12 13:17:21

云計算

2014-05-13 14:11:36

GoRedis

2024-07-02 12:25:01

2010-09-02 14:36:44

Linux命令行

2024-04-12 10:01:07

MySQL事務I/O

2010-05-07 15:48:38

Oracle數據庫

2022-06-27 16:12:48

CSS像素前端

2009-03-02 16:52:59

SQL數據庫開發

2021-09-05 07:55:36

Lsm核心實現

2023-05-10 08:29:28

Spring配置原理

2017-07-07 11:28:24

大數據大數據技術

2010-09-09 14:17:42

2018-06-14 15:22:54

大數據數據分析職業

2015-07-29 10:54:58

Java 8包列表

2023-10-20 13:18:05

Flink數據
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产福利在线 | 国产成人精品一区二 | 日本久久福利 | 国产午夜精品久久久 | 成人在线影视 | 福利国产 | a国产一区二区免费入口 | 欧美不卡在线 | 亚洲精品乱码久久久久久黑人 | caoporn免费在线视频 | 欧美日韩国产一区二区三区 | 一级国产精品一级国产精品片 | 亚洲第一av | 亚洲精品9999| 成人高清视频在线观看 | 影视先锋av资源噜噜 | 日韩中出| 日韩在线视频一区二区三区 | 91精品一区二区三区久久久久久 | 久久精彩视频 | 欧美久久久久久 | 国外成人在线视频网站 | 欧美日韩国产中文 | 中文字幕在线剧情 | 日韩视频一区二区三区 | 国产欧美一区二区三区日本久久久 | 国产成人精品午夜 | 国产精品免费一区二区三区四区 | 久久成人av电影 | 国产精品激情 | 亚洲国产高清免费 | 国产一区二区在线免费播放 | 一级毛片,一级毛片 | 在线欧美视频 | 精品婷婷 | 精品国产伦一区二区三区观看方式 | 欧美中文视频 | 中文字幕一区二区三区不卡在线 | 欧美成人高清 | av电影一区| 精品久|