1、定義

何謂數(shù)據(jù)異構，上周交易部門商品的同事過來做分享，又看到這個詞，他的PPT里面是 數(shù)據(jù)庫異構。其實我們以前做的事情，也是可以成為數(shù)據(jù)異構。比如我們將DB里面的數(shù)據(jù)持久化到REDIS里面去，就是一種數(shù)據(jù)異構的方式。如果要下個定義的話：把數(shù)據(jù)按需(數(shù)據(jù)結(jié)構、存取方式、存取形式)異地構建存儲。

2、常見應用場景

分庫分表中有一個最為常見的場景，為了提升數(shù)據(jù)庫的查詢能力，我們都會對數(shù)據(jù)庫做分庫分表操作。比如訂單庫，開始的時候我們是按照訂單ID維度去分庫分表，那么后來的業(yè)務需求想按照商家維度去查詢，比如我想查詢某一個商家下的所有訂單，就非常麻煩。這個時候通過數(shù)據(jù)異構就能很好的解決此問題，比如下圖

異構維度

總結(jié)起來大概有以下幾種場景

1. 數(shù)據(jù)庫鏡像
2. 數(shù)據(jù)庫實時備份
3. 多級索引
4. search build(比如分庫分表后的多維度數(shù)據(jù)查詢)
5. 業(yè)務cache刷新
6. 價格、庫存變化等重要業(yè)務消息

3、數(shù)據(jù)異構方向

幾種異構方式

在日常業(yè)務開發(fā)中大致可以分為以上幾種數(shù)據(jù)去向，DB-DB這種方式，一般常見于分庫分表后，聚合查詢的時候，比如我們按照訂單ID去分庫分表，那么這個時候我們要按照用戶ID去查詢，查詢這個用戶下面的訂單就非常不方便了，當然可以使用統(tǒng)一加到內(nèi)存中去，但這樣不太好。所以我們就可以用數(shù)據(jù)庫異構的方式，重新按照用戶ID的維度來分一個表，像在上面常見應用場景中介紹的那樣。把數(shù)據(jù)異構到redis、elasticserach、slor中去要解決的問題跟按照多維度來查詢的需求差不多。這些存儲天生都有聚合的功能。當然同時也可以提高查詢性能，應對大訪問量，比如redis這種抗量銀彈。

4、數(shù)據(jù)異構的常用方法

3.1、完整克隆

這個很簡單就是將數(shù)據(jù)庫A，全部拷貝一份到數(shù)據(jù)庫B，這樣的使用場景是離線統(tǒng)計跑任務腳本的時候可以。缺點也很突出，不適用于持續(xù)增長的數(shù)據(jù)。

3.2、標記同步

這個是業(yè)務場景比較簡單的時候，理想情況下數(shù)據(jù)不會發(fā)生改變，比如日志數(shù)據(jù)，這個時候可以去標記，比如時間戳，這樣當發(fā)生故障的時候還可以回溯到上一次同步點，開始重新同步數(shù)據(jù)。

3.3、BINLOG方式

通過實時的訂閱mysql的binlog日志，消費到這些日志后，重新構建數(shù)據(jù)結(jié)構插入一個新的數(shù)據(jù)庫或者是其他存儲比如es、slor等等。訂閱binlog日志可以比較好的能保證數(shù)據(jù)的一致性。

3.4、MQ方式

業(yè)務數(shù)據(jù)寫入DB的同時，也發(fā)送MQ一份，也就是業(yè)務里面實現(xiàn)雙寫。這種方式比較簡單，但也很難保證數(shù)據(jù)一致性，對簡單的業(yè)務場景可以采用這種方式。

5、binlog和mq方式重點介紹

5.1、binlog

5.1.1、訂閱binglog日志異構流程圖

canal異構方式

5.1.2、使用說明

binglog是數(shù)據(jù)的日志記錄方式，每次對數(shù)據(jù)的操作都會有binlog日志?，F(xiàn)在開源的訂閱binlog日志的組件，比如使用比較廣泛的canal，它是阿里開源的基于mysql數(shù)據(jù)庫binlog的增量訂閱和消費組件。由于cannal服務器目前讀取的binlog事件只保存在內(nèi)存中，并且只有一個canal客戶端可以進行消費。所以如果需要多個消費客戶端，可以引入activemq或者kafka。如上圖綠色虛線框部分。我們還需要確保全量對比來保證數(shù)據(jù)的一致性(canal+mq的重試機制基本可以保證寫入異構庫之后的數(shù)據(jù)一致性)，這個時候可以有一個全量同步WORKER程序來保證，如上圖深綠色部分。

5.1.3、canal的工作原理

先來看下mysql主備(主從)復制原理如下圖，在此原理基礎之上我們再來理解canal的實現(xiàn)原理就一眼能明白了。

mysql主備復制實現(xiàn)原理

mysql主備(主從)復制原理，從上層來看，復制分成三步：

1. master將改變記錄到二進制日志(binary log)中(這些記錄叫做二進制日志事件，binary log events，可以通過show binlog events進行查看);
2. slave將master的binary log events拷貝到它的中繼日志(relay log);
3. slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)。

再來看下canal的原理，如下圖：

cannal實現(xiàn)原理相對比較簡單(參照上面的mysql主備復制實現(xiàn)原理)：

     4.  canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave，向mysql master發(fā)送dump協(xié)議

     5.  mysql master收到dump請求，開始推送binary log給slave(也就是canal)

     6.  canal解析binary log對象(原始為byte流)

我們在部署canal server的時候要部署多臺，來保證高可用。但是canal的原理，是只有一臺服務器在跑處理，其它的服務器作為熱備。canal server的高可用是通過zookeeper來維護的。

有關canal更具體的使用和詳細原理請參照：https://github.com/alibaba/canal

5.1.4、注意點

• 1、確認MySQL開啟binlog，使用show variables like ‘log_bin’; 查看ON為已開啟
• 2、確認目標庫可以產(chǎn)生binlog，show master status 注意Binlog_Do_DB，Binlog_Ignore_DB參數(shù)
• 3、確認binlog格式為ROW，使用show variables like ‘binlog_format’; 非ROW模式登錄MySQL執(zhí)行 set global binlog_format=ROW; flush logs; 或者通過更改MySQL配置文件并重啟MySQL生效。
• 4、為保證binlake服務可以獲取Binlog，需添加授權，執(zhí)行 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘admin’@’%’ identified by ‘admin’; FLUSH PRIVILEGES;

5.2、mq方式

MQ異構方式

mq的方式，就相對簡單，實際上是在業(yè)務邏輯中寫DB的同時去寫一次MQ，但是這種方式不能夠保證數(shù)據(jù)一致性，就是不能保證跨資源的事務。注：調(diào)用第三方遠程RPC的操作一定不要放到事務中。

6、總結(jié)

本文主要敘述了數(shù)據(jù)異構的使用場景，方法。這里面涉及到的activemq以及canal并沒有深入分析，關于這塊的內(nèi)容可以直接參考相關具體文檔，文中已給了鏈接地址。根據(jù)數(shù)據(jù)異構的定義，將數(shù)據(jù)異地構建存儲，我們可以應用的地方就非常多，文中說的分庫分表之后按照其它維度來查詢的時候，我們想脫離DB直接用緩存比如redis來抗量的時候。數(shù)據(jù)異構這種方式都能夠很好的幫助我們來解決諸如此類的問題。