阿里P8架構師談:數據庫中間件的功能、適用場景、淘寶TDDL詳解
什么需要數據庫中間件
傳統的架構模式就是應用連接數據庫直接對數據進行訪問,這種架構特點就是簡單方便。
但是隨著目前數據量不斷的增大我們就遇到了問題:
- 單個表數據量太大
- 單個庫數據量太大
- 單臺數據量服務器壓力很大
- 讀寫速度遇到瓶頸
當面臨以上問題時,我們會想到的第一種解決方式就是 向上擴展(scale up) 簡單來說就是不斷增加硬件性能。這種方式只能暫時解決問題,當業務量不斷增長時還是解決不了問題。特別是淘寶,facebook,youtube這種業務成線性,甚至指數級上升的情況。
此時我們不得不依賴于第二種方式: 水平擴展 ,除了增加應用服務器外,還會涉及到數據庫的垂直以及分庫分表,數據庫讀寫分離等,這個時候就需要用到數據庫中間件。
數據庫中間件的功能
1.通用的數據庫中間件會支持多種數據庫的協議。
連接數據庫中間件用的是標準的數據庫協議如jdbc,而數據庫中間件在與各種數據庫通訊時用的是各數據庫的協議。這樣在應用程序中就可以透明化的使用數據庫,減少開發成本,與適配數據庫所帶來開發成本,如圖:
2.讀寫分離:讀、寫分離的原理是將事務型操作(增、刪、改)與非事務弄操作(讀)分發到不同數據庫實例上去執行。數據庫實例之間要進行數據的主、從同步,往往寫數據庫實例為主數據庫;讀數據庫實例為從數據庫。如下圖所示:
上面的圖可以看出,黃線代表寫請求,綠線代表讀請求,藍色數據同步,這就是一個簡單的讀寫分離。
3. 分庫分表:分庫、分表是為了將不同的業務數據存儲于不同數據庫實例上,從而達到減少數據庫實例表的基礎數據量和業務的分布式處理。
上面這幅圖就可以看出數據庫中間件作用,比如下面的這個SQL:
- select from table_name where id = 1
按照中間件分庫分表算法,此SQL將發送到DB1節點,由DB1這個MySQL負責解析和獲取id=1的數據,并通過中間件返回給客戶端。
MySQL主流中間件:Atlas,cobar,TDDL等
目前市面上中間件種類很多種 :
Cobar:
阿里巴巴B2B開發的關系型分布式系統,管理將近3000個MySQL實例。 在阿里經受住了考驗,后面由于作者的走開的原因cobar沒有人維護 了,阿里也開發了tddl替代cobar。
MyCAT:
社區愛好者在阿里cobar基礎上進行二次開發,解決了cobar當時存 在的一些問題,并且加入了許多新的功能在其中。目前MyCAT社區活 躍度很高,目前已經有一些公司在使用MyCAT。總體來說支持度比 較高,也會一直維護下去,
Atlas:
360團隊基于mysql proxy 把lua用C改寫。原有版本是支持分表, 目前已經放出了分庫分表版本。在網上看到一些朋友經常說在高并 發下會經常掛掉,如果大家要使用需要提前做好測試。
淘寶TDDL
淘寶根據自己的業務特點開發了TDDL(Taobao Distributed Data Layer 框架,主要解決了分庫分表對應用的透明化以及異構數據庫之間的數據復制,它是一個基于集中式配置的 jdbc datasource實現,具有主備,讀寫分離,動態數據庫配置等功能。
TDDL所處的位置(tddl通用數據訪問層,部署在客戶端的jar包,用于將用戶的SQL路由到指定的數據庫中):
淘寶很早就對數據進行過分庫的處理, 上層系統連接多個數據庫,中間有一個叫做DBRoute的路由來對數據進行統一訪問。DBRoute對數據進行多庫的操作、數據的整合,讓上層系統像操作一個數據庫一樣操作多個庫。
下圖展示了一個簡單的分庫分表數據查詢策略:
主要優點:
1.數據庫主備和動態切換
2.帶權重的讀寫分離
3.單線程讀重試
4.集中式數據源信息管理和動態變更
5.剝離的穩定jboss數據源
6.支持mysql和oracle數據庫
7.基于jdbc規范,很容易擴展支持實現jdbc規范的數據源
8.無server,client-jar形式存在,應用直連數據庫
9.讀寫次數,并發度流程控制,動態變更
10.可分析的日志打印,日志流控,動態變更