成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

聊一聊分片和一致性哈希

數據庫 其他數據庫
一致性哈希是一種將龐大的數據集(例如100萬行)分割成多個較小的數據子集(存儲在一組數據庫服務器上)的技術,以確保在集群中的服務器數量發生變化(即添加或刪除服務器)時,數據的遷移量最小。

在設計大規模分布式系統時,你可能會遇到兩個概念——分片(sharding)和一致性哈希(consistent hashing)。雖然我在網上找到了很多關于這些術語的解釋,但它們讓我感到有些困惑。我覺得分片和一致性哈希本質上是在討論同一件事——將數據分布在一組服務器上。

我想—這兩個概念是不是相同的,還是有所不同?如果你也有類似的困惑,讓我們簡要地來解釋一下。

分片

想象一下我們有一個數據庫,其中數據以行和列的形式存儲(就像關系型數據庫,盡管分片也適用于NoSQL數據庫)。當我們的數據集變得非常龐大時(比如1百萬條記錄),對龐大數據集進行任何類型的操作(讀取、更新、刪除、連接等)都會變得非常緩慢。而且隨著數據量的增長,由于服務器可能具有的物理空間(HDD/SSD)的限制,將所有數據存儲在一個數據庫服務器上幾乎是不可能的。為了解決這些問題,最合理的方法是將數據集劃分為較小的數據集。

想象一下,我們將整個數據集(100萬行)劃分為10個較小的子集(每個子集有10萬行)。這個將數據集水平(或沿著行)劃分的過程被稱為對數據集進行分片。

除了提高性能外,分片數據集的另一個非常重要的好處是將這些數據分片存儲在較小且更便宜的數據庫服務器上,而不是將整個百萬行存儲在一個龐大且非常昂貴的數據庫服務器上。

一致性哈希

一致性哈希是一種將龐大的數據集(例如100萬行)分割成多個較小的數據子集(存儲在一組數據庫服務器上)的技術,以確保在集群中的服務器數量發生變化(即添加或刪除服務器)時,數據的遷移量最小。在大規模分布式系統設計中,這非常重要,因為服務器故障在數據中心中相當常見。

對于一致性哈希,我們選擇兩個值M和N,即哈希鍵空間(根據應用程序需求選擇的M)和數據庫服務器數量(用N表示)。通常情況下,M >> N。

算法本身是一個簡單的三步過程。

創建一個循環數字線(從0到M-1)。 對數據庫服務器ID進行哈希運算,對M取模,并在循環數字線上分配一個位置。 對每個數據行進行哈希(基于其唯一鍵),對M取模,并在循環數字線上找到其位置。順時針方向移動,直到找到第一個數據庫服務器。將這些數據存儲在該服務器上。

好了..那么它們之間有什么真正的區別嗎? 盡管分片和一致性哈希看起來都可以將巨大的數據集分割成較小的數據集,但它們之間存在微妙的區別。分片是所有水平數據分區方案的統稱。從本質上講,分片只是將數據集沿著行進行劃分的一個花哨的名字。

如果你覺得水平分割(或分片)數據集可能有許多不同的方式,那么你是對的。在許多不同的分片數據集的方式/算法中,一致性哈希是最高效的算法之一。所以,這是一個相當簡單但微妙的區別。分片是一個通用術語,而一致性哈希是一種特定類型的算法,用于實現數據分片。

責任編輯:姜華 來源: 今日頭條
相關推薦

2023-12-27 14:23:10

微服務數據存儲

2021-02-05 08:00:48

哈希算法?機器

2021-02-02 12:40:50

哈希算法數據

2023-12-09 14:30:29

哈希數據分片

2021-09-15 07:46:42

哈希一致性哈希算法

2020-07-20 08:30:37

算法哈希分布式系統

2016-12-19 18:41:09

哈希算法Java數據

2021-07-27 08:57:10

算法一致性哈希哈希算法

2023-06-26 07:17:48

負載均衡策略Dubbo

2017-07-25 14:38:56

數據庫一致性非鎖定讀一致性鎖定讀

2024-08-05 09:42:05

2022-01-27 08:31:20

一致性哈希

2023-12-20 08:11:02

Redis節點通信

2022-12-14 08:23:30

2019-11-01 09:13:37

算法哈希緩存

2021-11-12 08:38:26

一致性哈希算法數據結構

2023-12-12 08:00:50

節點哈希算法

2018-07-05 09:41:08

一致性哈希算法

2023-12-05 14:44:01

2023-06-02 07:45:39

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 在线观看国产网站 | 久久av一区 | 久久综合九九 | 在线免费观看a级片 | 老司机午夜性大片 | 一级高清视频 | 成人福利在线 | 亚洲一区二区视频 | 蜜桃在线一区二区三区 | 国产成人午夜精品影院游乐网 | 精品一区二区三区中文字幕 | 成人黄色av网址 | 成人精品一区二区 | 午夜精品一区 | 羞羞羞视频 | 成人免费毛片片v | 日本欧美黄色片 | 黄色精品 | 国产高清精品一区二区三区 | 日韩亚洲一区二区 | 91成人精品 | 精品少妇一区二区三区日产乱码 | 久久91精品国产 | 欧美成人自拍视频 | 欧美精品首页 | 日韩有码在线播放 | 日本久草 | 成av人电影在线 | 精品视频一区二区 | www.伊人.com | 成人一区二区三区在线观看 | 国产高清免费 | 午夜一级做a爰片久久毛片 精品综合 | 91精品国产乱码久久久久久久久 | 久热m3u8 | 国产精品成人久久久久a级 久久蜜桃av一区二区天堂 | 91免费观看在线 | 国产在线二区 | 欧美一区二区在线观看视频 | 国产高清视频在线观看播放 | 欧美自拍第一页 |