【51CTO.com原創(chuàng)稿件】隨著互聯(lián)網(wǎng)的飛速發(fā)展，人類社會(huì)的數(shù)據(jù)量迅速激增。而互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展通常具有爆發(fā)性，業(yè)務(wù)量很可能在短時(shí)間內(nèi)呈爆發(fā)式增長(zhǎng)，對(duì)應(yīng)的數(shù)據(jù)會(huì)相應(yīng)地飛漲。如果系統(tǒng)不夠穩(wěn)定，將造成無(wú)法訪問(wèn)等后果。

在這種情況下，傳統(tǒng)的單機(jī)數(shù)據(jù)庫(kù)在擴(kuò)展性、性價(jià)比方面已經(jīng)無(wú)法滿足需求。為了解決系統(tǒng)性能、成本以及擴(kuò)展性的需求，分布式數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)運(yùn)而生。

從技術(shù)模塊角度來(lái)看，要實(shí)現(xiàn)一個(gè)分布式數(shù)據(jù)庫(kù)，最直接的做法就是把事務(wù)層與存儲(chǔ)層分離，抽取一個(gè)單獨(dú)的分布式KV系統(tǒng)，在分布式KV系統(tǒng)實(shí)現(xiàn)分布式的擴(kuò)展性和高可用的能力。這樣雖然實(shí)現(xiàn)簡(jiǎn)單，但是它犧牲了單機(jī)性能，系統(tǒng)的延遲很高，因而無(wú)法應(yīng)用到核心業(yè)務(wù)系統(tǒng)，因此只能在非核心的業(yè)務(wù)系統(tǒng)上使用。而一體化架構(gòu)將事務(wù)層與存儲(chǔ)層有機(jī)地結(jié)合，在事務(wù)層實(shí)現(xiàn)了擴(kuò)展性，這就沒(méi)有犧牲單機(jī)性能，最終能夠做到單機(jī)性能與集中式數(shù)據(jù)庫(kù)的性能基本相當(dāng)，因而適用于核心業(yè)務(wù)場(chǎng)景。

詳解一體化架構(gòu)

一體化架構(gòu)集合了原生分布式框架和HTAP兩種技術(shù)優(yōu)勢(shì)。

首先來(lái)看原生分布式。原生分布式的底層是一個(gè)基于Paxos的，與數(shù)據(jù)同步的、靈活的容災(zāi)架構(gòu)，支持同城三機(jī)房、三地五中心、兩地三中心等靈活的容災(zāi)模式。在Paxos的容災(zāi)架構(gòu)之上是一個(gè)集中式、分布式一體化的架構(gòu)，能夠兼具單機(jī)性能易用性，以及多機(jī)可擴(kuò)展性，并且保證全局的強(qiáng)一致性。

再來(lái)看HTAP。從產(chǎn)業(yè)角度來(lái)說(shuō)，在互聯(lián)網(wǎng)浪潮出現(xiàn)之前，企業(yè)的數(shù)據(jù)量并不太大，尤其是核心的業(yè)務(wù)數(shù)據(jù)，通常一個(gè)單機(jī)數(shù)據(jù)庫(kù)就可以應(yīng)對(duì)，存儲(chǔ)也不需要復(fù)雜的架構(gòu)，所有的聯(lián)機(jī)事務(wù)處理 (OLTP, Online Transactional Processing) 和聯(lián)機(jī)分析處理 (OLAP, Online Analytical Processing) 都運(yùn)行在在同一個(gè)數(shù)據(jù)庫(kù)實(shí)例中。

隨著企業(yè)業(yè)務(wù)數(shù)據(jù)量的不斷增多，單機(jī)數(shù)據(jù)庫(kù)在海量數(shù)據(jù)場(chǎng)景下的使用受到了制約。在實(shí)際應(yīng)用中，為了應(yīng)對(duì)不同的業(yè)務(wù)需求，OLTP、OLAP這兩類任務(wù)處理往往由不同團(tuán)隊(duì)完成。在數(shù)據(jù)量激增的情況下，OLAP 和 OLTP 系統(tǒng)間通常會(huì)有幾分鐘甚至幾小時(shí)的時(shí)延，OLAP 數(shù)據(jù)庫(kù)和 OLTP 數(shù)據(jù)庫(kù)之間的一致性也無(wú)法保證，難以應(yīng)對(duì)一些對(duì)分析的實(shí)時(shí)性要求很高的業(yè)務(wù)場(chǎng)景。同時(shí)，管理和維護(hù)不同數(shù)據(jù)庫(kù)也大大增加了企業(yè)成本。因此，能夠統(tǒng)一支持事務(wù)處理和工作負(fù)載分析的數(shù)據(jù)庫(kù)成為眾多企業(yè)的需求。

2014年，Gartner的一份報(bào)告中使用HTAP（混合事務(wù)/分析處理，Hybrid Transactional/Analytical Processing）一詞來(lái)描述新型的應(yīng)用程序框架，以打破OLTP和OLAP之間的隔閡，既可以應(yīng)用于事務(wù)型數(shù)據(jù)庫(kù)場(chǎng)景，也可以應(yīng)用于分析型數(shù)據(jù)庫(kù)場(chǎng)景。這種架構(gòu)不但避免了繁瑣且昂貴的ETL操作，還可以更快地對(duì)最新數(shù)據(jù)進(jìn)行分析。Gartner 提出，HTAP數(shù)據(jù)庫(kù)將成為數(shù)據(jù)庫(kù)領(lǐng)域的重要發(fā)展趨勢(shì)，一個(gè)集成的數(shù)據(jù)平臺(tái)將會(huì)加速數(shù)字化轉(zhuǎn)型。

當(dāng)然，讓數(shù)據(jù)庫(kù)既做 OLTP 又做 OLAP ，即 HTAP，面臨著非常大的挑戰(zhàn)，這是因?yàn)?OLTP 與 OLAP 存在巨大差異，且這種差異始終存在。比如從數(shù)據(jù)量來(lái)看，OLTP的數(shù)據(jù)量通常較小，而OLAP的數(shù)據(jù)量通常很大。從事務(wù)尺寸來(lái)看，OLTP的事務(wù)通常較小，而OLAP的事務(wù)通常都很大；從數(shù)據(jù)的一致性來(lái)看，OLTP的事務(wù)數(shù)據(jù)都有非常高的一致性，OLAP的數(shù)據(jù)的一致性相對(duì)較低；從事務(wù)的并發(fā)量來(lái)看，OLTP通常有很高的并發(fā)量，而OLAP的并發(fā)量并不大；從事務(wù)的響應(yīng)時(shí)間來(lái)看，OLTP有嚴(yán)格的響應(yīng)時(shí)間要求，而OLAP的數(shù)據(jù)庫(kù)響應(yīng)時(shí)間相對(duì)比較寬松；從數(shù)據(jù)的存儲(chǔ)來(lái)看，OLTP的數(shù)據(jù)庫(kù)通常是行存，而且實(shí)時(shí)更新，而OLAP的數(shù)據(jù)庫(kù)，通常是列存，批量更新。

所以，HTAP數(shù)據(jù)庫(kù)的挑戰(zhàn)主要表現(xiàn)在四個(gè)方面。首先是分布式的事務(wù)處理，由于分析處理所需的數(shù)據(jù)量和計(jì)算量龐大，要求整個(gè)系統(tǒng)必須是分布式的。其次是事物的優(yōu)先級(jí)，分析的大查詢，需要消耗大量的CPU、內(nèi)存和IO資源，很可能導(dǎo)致交易的小查詢無(wú)法得到所需的資源而等待并超時(shí)。第三是行列的混合存儲(chǔ)，由于行存對(duì)交易事務(wù)處理友好，而列存對(duì)分析處理友好，所以HTAP 系統(tǒng)既需要行存又需要列存，也就是行列的混合存儲(chǔ)。第四是 HTAP 的性能評(píng)估，當(dāng)今各種 benchmark 都是單一的性能評(píng)估，要么是事物處理，要么是分析處理，但 HTAP 同時(shí)需要兩者。

OceanBase：完美詮釋HTAP

在國(guó)內(nèi)，真正實(shí)現(xiàn)HTAP 的數(shù)據(jù)庫(kù)并不多，業(yè)界某些HTAP數(shù)據(jù)庫(kù)使用了兩套引擎來(lái)實(shí)現(xiàn)HTAP，即主備庫(kù)物理隔離，主庫(kù)做 OLTP，備庫(kù)做 OLAP，主備之間通過(guò) redo 日志做同步，備庫(kù)與主庫(kù)之間有一定的延遲。而OceanBase則自研了一套引擎，可以同時(shí)支持了OLTP和OLAP，這是與其它HTAP數(shù)據(jù)庫(kù)差異化的體現(xiàn)，也重新定義了分布式數(shù)據(jù)庫(kù)！

OceanBase是原生分布式數(shù)據(jù)庫(kù)的代表，它背后的核心技術(shù)就是一體化架構(gòu)。一方面，它的底層仍然是一個(gè)原生分布式架構(gòu)，能夠充分享受到分布式技術(shù)無(wú)限擴(kuò)展、永遠(yuǎn)在線的技術(shù)紅利，RPO等于0，能夠動(dòng)態(tài)地增加減少服務(wù)器；另一方面它對(duì)外體現(xiàn)的是與經(jīng)典集中式數(shù)據(jù)庫(kù)完全兼容的功能和單機(jī)性能。OceanBase通過(guò)一體化架構(gòu)，發(fā)揮了分布式+集中式的雙重技術(shù)優(yōu)勢(shì)。

OceanBase在一套HTAP引擎里同時(shí)支持OLTP與OLAP混合負(fù)載，并且做到OLTP與OLAP兩種負(fù)載之間的資源隔離。同時(shí)兼容兩種SQL的使用接口，即商業(yè)數(shù)據(jù)庫(kù) Oracle和開(kāi)源數(shù)據(jù)庫(kù) MySQL，保證了集中式數(shù)據(jù)庫(kù)到分布式數(shù)據(jù)庫(kù)的平滑遷移。

過(guò)去的幾年中，OceanBase經(jīng)歷了三次迭代，第一代分布式存儲(chǔ)系統(tǒng)，將LSM Tree首次引入到關(guān)系數(shù)據(jù)庫(kù)領(lǐng)域中，大幅降低關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)成本；第二代分布式數(shù)據(jù)庫(kù)OceanBase再次將Paxos 協(xié)議引入到關(guān)鍵數(shù)據(jù)庫(kù)領(lǐng)域中，首次做到 RPO = 0；第三代原生分布式數(shù)據(jù)庫(kù)OceanBase 做到了在一套引擎同時(shí)支持OLTP與OLAP混合負(fù)載，并且參與TPC-C和TPC-H打榜都取得世界第一的成績(jī)。

五大核心產(chǎn)品技術(shù)突破和出色的TPC-C成績(jī)

2021年，OceanBase又取得五大核心產(chǎn)品技術(shù)突破：從OLTP到HTAP，TPC-H整體性能提升620%，30TB刷新世界紀(jì)錄；單核性價(jià)比大幅提升，sysbench整體性能提升68%，支持小規(guī)格部署性價(jià)比，在全球分布式數(shù)據(jù)庫(kù)領(lǐng)域遙遙領(lǐng)先；更強(qiáng)的跑批能力，支持超大事務(wù)，能夠在一套引擎同時(shí)處理交易和跑批兩類工作負(fù)載，并且確保跑批負(fù)載不會(huì)影響正在進(jìn)行的交易業(yè)務(wù)，并行DML和大數(shù)據(jù)導(dǎo)入性能分別提升270%和58%；OceanBase 是業(yè)內(nèi)首個(gè)支持平滑遷移Oracle的原生分布式數(shù)據(jù)庫(kù)，并且得到銀行、保險(xiǎn)、證券、運(yùn)營(yíng)商、公共事業(yè)等多個(gè)行業(yè)的核心業(yè)務(wù)場(chǎng)景的應(yīng)用；易用性提升：OceanBase實(shí)現(xiàn)了不依賴單點(diǎn)的分布式主動(dòng)死鎖檢測(cè)，也能夠通過(guò)全鏈路監(jiān)控來(lái)大幅降低問(wèn)題排查成本。

2020年的5月，OceanBase參與了TPC-C 二期的測(cè)試，取得7.07億 tpmC的成績(jī)，排名世界第一。2021年5月，OceanBase再次參加了TPC-H 30TB的打榜，取得了1526萬(wàn) QphH的成績(jī)，再次排名世界第一。這樣充分證明了一個(gè)基于分布式架構(gòu)的原生分布式數(shù)據(jù)庫(kù)，能夠?qū)崿F(xiàn)與經(jīng)典集中式數(shù)據(jù)庫(kù)完全對(duì)標(biāo)的強(qiáng)一致的ACID能力，且整個(gè)系統(tǒng)能夠持續(xù)穩(wěn)定長(zhǎng)期的運(yùn)行性能無(wú)抖動(dòng)。

全新亮相：3.X工具家族和OceanBase 3.1.2 社區(qū)版本

在近日召開(kāi)的DC 2021分布式數(shù)據(jù)庫(kù)開(kāi)發(fā)者大會(huì)上，OceanBase發(fā)布了全新 3.X工具家族，包括：運(yùn)維管理工具OCP、開(kāi)發(fā)者工具ODC、數(shù)據(jù)遷移工具OMA &OMS。其中，OCP在已經(jīng)實(shí)現(xiàn)基礎(chǔ)運(yùn)維工作全面白屏化的基礎(chǔ)之上，進(jìn)一步提升了智能診斷的能力和運(yùn)維效率，最大支持超過(guò)1500臺(tái)機(jī)器的集群；ODC支持PL存儲(chǔ)過(guò)程的開(kāi)發(fā)與調(diào)試，通過(guò)增強(qiáng)的安全審計(jì)能力，邁向企業(yè)級(jí)安全管控的一大步；OMS持續(xù)完善數(shù)據(jù)源，支持超過(guò)10個(gè)不同類型的數(shù)據(jù)源，同時(shí)實(shí)現(xiàn)了從遷移評(píng)估、數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)校驗(yàn)等一系列一站式遷移服務(wù)的能力，實(shí)現(xiàn)了從客戶的集中式數(shù)據(jù)庫(kù)到分布式數(shù)據(jù)庫(kù)的平滑遷移。

會(huì)上，OceanBase 3.1.2 社區(qū)版本正式發(fā)布。包括三大核心技術(shù)升級(jí)：第一、秒殺性能提升 300%，第二、生態(tài)適配全面加速，支持 Hbase 對(duì)接能力；第三、推出全新社區(qū)版工具體系（社區(qū)版 OCP、社區(qū)版 ODC、社區(qū)版 OMS），提供白屏化集群管理、租戶管控、開(kāi)發(fā)調(diào)試、數(shù)據(jù)同步、導(dǎo)入導(dǎo)出等完整功能，協(xié)助社區(qū)用戶快速上手。

后記

近年來(lái)，“國(guó)產(chǎn)化核心替代”成為了一大熱詞，2008年，阿里提出“去IOE”，至今十多年，國(guó)產(chǎn)數(shù)據(jù)庫(kù)百花齊放，并逐步應(yīng)用于核心業(yè)務(wù)系統(tǒng)。雖然相較于Oracle，國(guó)產(chǎn)數(shù)據(jù)庫(kù)在單機(jī)性能、優(yōu)化器、復(fù)雜查詢處理等能力上還有一定差距，但通過(guò)分布式的技術(shù)架構(gòu)，不少國(guó)產(chǎn)數(shù)據(jù)庫(kù)在海量并發(fā)場(chǎng)景下表現(xiàn)出了更優(yōu)于Oracle的擴(kuò)展性和高可用。

相信數(shù)據(jù)庫(kù)的未來(lái)，一定是采用一體化架構(gòu)實(shí)現(xiàn)的，兼具分布式與集中式的雙重技術(shù)優(yōu)勢(shì)的原生分布式數(shù)據(jù)庫(kù)。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】