成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

關于分布式系統的數據一致性問題(一)

大數據 分布式
正好遇到一個博友,咨詢了一個問題,這個問題正好可以作為分布式系統的數據一致性的簡單例子,當然,這個只是比較簡單的情況。

 現在先拋出問題,假設有一個主數據中心在北京M,然后有成都A,上海B兩個地方數據中心,現在的問題是,假設成都上海各自的數據中心有記錄變更,需要先同步到主數據中心,主數據中心更新完成之后,在把最新的數據分發到上海,成都的地方數據中心A,地方數據中心更新數據,保持和主數據中心一致性(數據庫結構完全一致)。數據更新的消息是通過一臺中心的MQ進行轉發。

 

 

先把問題簡單化處理,假設A增加一條記錄Message_A,發送到M,B增加一條記錄 MESSAGE_B發送到M,都是通過MQ服務器進行轉發,那么M系統接收到條消息,增加兩條數據,那么M在把增加的消息群發給A,B,A和B找到自己缺失的數據,更新數據庫。這樣就完成了一個數據的同步。

 

從正常情況下來看,都沒有問題,邏輯完全合理,但是請考慮以下三個問題

1 如何保證A->M的消息,M一定接收到了,同樣,如何保證M->A的消息,M一定接收到了

2 如果數據需要一致性更新,比如A發送了三條消息給M,M要么全部保存,要么全部不保存,不能夠只保存其中的幾條記錄。我們假設更新的數據是一條條發送的。

3 假設同時A發送了多條更新請求,如何保證順序性要求?

這兩個問題就是分布式環境下數據一致性的問題

對于第一個問題,比較好解決,我們先看看一個tcp/ip協議鏈接建立的過程

我們的思路可以從這個上面出發,在簡化一下,就一個請求,一個應答。

簡單的通信模型是這樣的

A->M : 你收到我的一條消息沒有,消息的ID是12345

M->A:  我收到了你的一條消息數據,消息數據是ID;12345

這樣就一個請求,一個應答,就完成了一次可靠性的傳輸。如果A一致沒有收到M的應答,就不斷的重試。這個時候M就必須保證冪等性。不能重復的處理消息。那么最極端的情況是,怎么也收不到M的應答,這個時候是系統故障。自己檢查一下吧。

這么設計就要求,A在發送消息的時候持久化這個消息的數據內容,然后不斷的重試,一旦接收到M的應答,就刪除這條消息。同樣,M端也是一樣的。不要相信MQ的持久化機制,不是很靠譜的。

那么M給A發送消息也采取類似的原理就可以了。

下面在看看第二個問題,如何保持數據的一致性更新,這個還是可以參考TCP/IP的協議。

首先A發送一條消息給M:我要發送一批消息數據給你,批次號是10000,數據是5條。

M發送一條消息給A:ok,我準備好了,批次號是10000,發送方你A

接著A發送5條消息給M,消息ID分別為1,2,3,4,5 ,批次號是10000,

緊接著,A發送一個信息給M:我已經完成5小消息的發送,你要提交數據更新了

接下來可能發送兩種情況

1 那么M發送消息給A:ok,我收到了5條消息,開始提交數據

2 那么M也可以發送給A:我收到了5條消息,但是還缺少,請你重新發送,那么A就繼續發送,直到A收到M成功的應答。

整個過程相當復雜。這個也就是數據一旦分布了,帶來最大的問題就是數據一致性的問題。這個成本非常高。

對于第三個問題,這個就比較復雜了

這個最核心的問題就是消息的順序性,我們只能在每個消息發一個消息的序列號,但是還是沒有最好解決這個問題的辦法。因為消息接收方不知道順序。因為即使給他了序列號,也沒有辦法告訴他,這個應該何時處理。最好的辦法是在第二種方式的基礎作為一個批次來更新。

這個只是以最簡單的例子來說明一下分布式系統的要保證數據一致性是一件代價很大的事情。當然有的博主會說,這個何必這么復雜,直接數據庫同步不就可以了。這個例子當然是沒有問題的,萬一這個幾個庫的模型都不一樣,我發送消息要處理的事情不一樣的。怎么辦?

原文鏈接:http://www.cnblogs.com/aigongsi/archive/2012/09/21/2696773.html

【編輯推薦】

 

責任編輯:彭凡 來源: 博客園
相關推薦

2016-11-29 09:00:19

分布式數據一致性CAS

2020-05-07 11:58:07

分布式系統架構

2024-05-30 07:00:51

2017-10-30 10:24:03

存儲系統數據

2025-03-27 03:00:00

2023-10-26 09:23:24

分布式架構

2021-07-28 08:39:25

分布式架構系統

2017-09-21 10:59:36

分布式系統線性一致性測試

2017-09-04 14:46:10

分布式事務問題

2022-06-21 21:47:13

數據系統

2019-10-11 23:27:19

分布式一致性算法開發

2021-11-22 16:30:30

分布式一致性分布式系統

2023-08-01 07:42:33

Redis數據項目

2021-11-01 21:15:54

微服務系統數據

2017-10-19 18:37:57

數據庫分布式數據庫一致性原理

2024-04-11 13:45:14

Redis數據庫緩存

2019-09-05 08:43:34

微服務分布式一致性數據共享

2017-09-22 12:08:01

數據庫分布式系統互聯網

2022-05-31 08:37:59

RedisMySQL數據一致性

2018-03-19 09:50:50

分布式存儲系統
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美一区两区 | 一区中文字幕 | 久久成人免费视频 | 丁香五月缴情综合网 | 国产精品一区一区三区 | 亚洲国产精品视频 | 国产精彩视频在线观看 | 亚洲电影一区二区三区 | 欧美久久一区二区 | 日本a网站 | 99精品观看 | 精品国产91乱码一区二区三区 | 国产精品精品久久久 | 日韩精品视频在线播放 | 一区二区三区四区国产 | 一区二区三区在线 | 欧 | 综合激情久久 | 亚洲国产精品一区在线观看 | 五月天天色 | 中文字幕乱码一区二区三区 | 国产欧美视频一区二区 | 国产片一区二区三区 | 久草成人网 | 欧美国产精品久久久 | 午夜久久久久久久久久一区二区 | 玖玖免费 | 国产精品久久国产精品久久 | 久久久久久免费免费 | 自拍偷拍中文字幕 | 国产精品国产三级国产aⅴ无密码 | 国产伊人久久久 | 岛国午夜 | 超碰97人人人人人蜜桃 | 黄色一级毛片免费看 | 国产97人人超碰caoprom | 亚洲国产成人一区二区 | 日本电影韩国电影免费观看 | 最新国产福利在线 | 国产色网站 | 久久久久久成人网 | 亚洲精品在线免费观看视频 |