當前，正由IT時代進入DT時代，隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展，企業(yè)正產(chǎn)生大量的數(shù)據(jù)，而數(shù)據(jù)的存儲和組織離不開數(shù)據(jù)庫技術(shù)，更多的公司意識到了數(shù)據(jù)能夠為公司帶來商業(yè)利益，于是如何管理和利用好數(shù)據(jù)已經(jīng)變得越來越重要。

挖掘數(shù)據(jù)的價值，對數(shù)據(jù)進行分析，讓數(shù)據(jù)指導決策已經(jīng)成為很多公司最重要的工作之一，因此選擇合適的數(shù)據(jù)庫系統(tǒng)對公司的技術(shù)發(fā)展至關(guān)重要。

筆者曾經(jīng)在某大型互聯(lián)網(wǎng)公司負責Hadoop平臺及部分MySQL數(shù)據(jù)庫的管理，工作中涉及到對DBMS的選型、管理及優(yōu)化等工作內(nèi)容，筆者認為，未來數(shù)據(jù)庫發(fā)展將有三大趨勢：

一、數(shù)據(jù)庫管理技術(shù)正在向AI方向發(fā)展

[[228910]]

由于DBMS的發(fā)展越來越快，功能越來越多，需要優(yōu)化的參數(shù)內(nèi)容也相對更多，而各個公司的應用場景不同，對數(shù)據(jù)庫的要求也各有特點。傳統(tǒng)DBMS對管理人員要求專業(yè)性高，成本也很高，DBMS可以處理大量的數(shù)據(jù)和復雜的負載工作，但是卻難以管理，因為它們具有數(shù)百個配置選項，用于控制諸如用于緩存的內(nèi)存量以及將數(shù)據(jù)寫入存儲器等因素。

基于這些原因，一些DBMS與AI的結(jié)合相繼出現(xiàn)，例如Oracle提出的自治數(shù)據(jù)庫的概念，以及“OtterTune”，OtterTune是亞馬遜和卡內(nèi)基梅隆大學一起開發(fā)的機器學習自動化調(diào)整DBMS的系統(tǒng)，并公布起設計論文和開源項目，重點解決DBMS長期存在的一些問題：

1、對管理人員專業(yè)性要求高；

2、管理成本高；

3、無法實現(xiàn)配置資源***化等一系列問題。

據(jù)了解，OtterTune可以自動為DBMS的配置選項找到***的設置方法。

OtterTune目標是使任何人都更容易部署數(shù)據(jù)庫管理系統(tǒng)，即使是那些在數(shù)據(jù)庫管理方面沒有任何專業(yè)知識的人也可以使用它。

OtterTune與其他DBMS配置工具不同，因為它利用從先前的DBMS部署調(diào)整中學到知識。大大減少了調(diào)整新的DBMS部署所需的時間和資源。

為此，OtterTune維護了從以前的調(diào)優(yōu)會話收集的調(diào)優(yōu)數(shù)據(jù)庫。它使用此數(shù)據(jù)構(gòu)建機器學習（ML）模型，以捕獲DBMS如何響應不同的配置。OtterTune使用這些模型來指導新應用程序的實驗，推薦改進目標參數(shù)的設置（例如，減少延遲或提高吞吐量）。

AI與DBMS的結(jié)合目前已經(jīng)開始嘗試，隨著技術(shù)的發(fā)展，未來應該會變的更加成熟，然而，我并不以為，AI的出現(xiàn)會讓DBA失業(yè)，DBA的工作對于數(shù)據(jù)庫的管理依然非常必要，并且各類AI工具的研發(fā)和使用通常也是由經(jīng)驗豐富的DBA來完成。

例如，我在工作中也曾經(jīng)通過客戶服務器的硬件配置及業(yè)務場景來自動生成大數(shù)據(jù)系統(tǒng)的配置文件，這在某種意義上也是一種AI的實現(xiàn)，而這個工具的實現(xiàn)是基于DBA平時對系統(tǒng)參數(shù)調(diào)整的經(jīng)驗才實現(xiàn)的。

因此，我認為作為DBA應該積極的擁抱技術(shù)的變化，嘗試用各種手段來簡化和優(yōu)化數(shù)據(jù)庫管理的工作，讓AI等技術(shù)成為一個未來的DBA所必備的知識。

二、經(jīng)歷了NoSQL，NewSQL時代正在到來，融合OLTP和OLAP的HTAP發(fā)展迅速。

過去幾年，起源于Google三大基礎(chǔ)設施論文（GFS，Mapreduce和Bigtable），誕生了開源的Hadoop系統(tǒng)，通常用作公司對于海量非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)的存儲及分析，得益于開源社區(qū)的貢獻和各大互聯(lián)網(wǎng)公司的應用，Hadoop生態(tài)系統(tǒng)迅速發(fā)展，已經(jīng)成為了OLAP方面對海量數(shù)據(jù)處理的事實標準，盡管Hadoop生態(tài)系統(tǒng)已經(jīng)日趨成熟并被業(yè)界廣泛認可，然而作為一個離線數(shù)據(jù)分析系統(tǒng)，Hadoop無法實時對數(shù)據(jù)的分析提供結(jié)果，因此通常用作業(yè)務數(shù)據(jù)庫之外構(gòu)建一個新的數(shù)據(jù)倉庫，并且通常僅提供OLAP也就是數(shù)據(jù)分析方面的支撐，這就要求在傳統(tǒng)的數(shù)據(jù)庫和Hadoop之間構(gòu)建一套ETL系統(tǒng)，用作兩者之間數(shù)據(jù)的導入導出，這就使得數(shù)據(jù)庫和數(shù)據(jù)倉庫的管理更加的復雜。

Hadoop系統(tǒng)作為一個龐大的開源系統(tǒng)，往往需要很多組件才能滿足業(yè)務的需求，所以我通常認為基于Hadoop構(gòu)建數(shù)據(jù)倉庫滿足OLAP的需求目前仍存很多不足，而NoSQL數(shù)據(jù)庫的不斷發(fā)展，也為很多大數(shù)據(jù)量業(yè)務的發(fā)展帶來了福音。

例如可以通過Hbase來管理近千億的url數(shù)據(jù)，并且NoSQL數(shù)據(jù)庫通常是可以動態(tài)擴容并且支持容錯，但是NoSQL系統(tǒng)的缺點也非常的明顯，例如應用場景相對簡單，通常無法兼容傳統(tǒng)的sql語句，多表關(guān)聯(lián)以及事物等需求也通常無法滿足。對于開發(fā)人員還需要重新學習NoSQL的API和使用方式，帶來了額外的代價。

基于上述原因，出現(xiàn)了融合OLTP和OLAP的一種提法HTAP，意味著可以通過一個數(shù)據(jù)庫系統(tǒng)同時滿足事務性需求和分析型需求，而***代表性的就是Google的Spanner+F1的論文，產(chǎn)生了一批NewSQL系統(tǒng)。

例如CockroachDB和國內(nèi)PingCAP團隊開發(fā)的TiDB，以TiDB為例，TiDB采用Raft實現(xiàn)分布式協(xié)議，并且完全兼容MySQL的客戶端，這對筆者本人也非常有吸引力，即可以用熟悉的MySQL的接口，又不需要對數(shù)據(jù)庫進行分庫分表，既實現(xiàn)了分布式，又減輕了用戶的學習成本，對于企業(yè)來講，可以通過構(gòu)建一套分布式數(shù)據(jù)庫系統(tǒng)，同時滿足事務性和分析型需求，減輕系統(tǒng)復雜性的同時也提高了效率。

在這里向TiDB團隊致敬，在數(shù)據(jù)庫領(lǐng)域作出了***的開源項目，可以說是具備里程碑的意義。HTAP將成為未來的數(shù)據(jù)庫的主流發(fā)展趨勢。

三、 時序數(shù)據(jù)庫正在崛起

物聯(lián)網(wǎng)發(fā)展勢頭迅猛，互聯(lián)網(wǎng)和傳統(tǒng)公司也爭相布局，隨著物聯(lián)網(wǎng)的發(fā)展，傳感器等產(chǎn)生了大量的數(shù)據(jù)，而這些數(shù)據(jù)往往都是時間順序，在其他一些應用場景，例如金融領(lǐng)域的，股票交易，匯率等以及Devops的監(jiān)控數(shù)據(jù)，都是屬于時序數(shù)據(jù)。

基于這些場景產(chǎn)生了時序數(shù)據(jù)庫的概念，時序數(shù)據(jù)庫可以對時間屬性進行特殊的索引，實現(xiàn)數(shù)據(jù)的快速查詢以及更高的壓縮，例如InfluxDB項目，InfluxDB是一個使用Go語言開發(fā)的分布式時序、時間和指標數(shù)據(jù)庫，無需外部依賴。特別適合處理和分析資源監(jiān)控數(shù)據(jù)。

筆者在物聯(lián)網(wǎng)項目已經(jīng)嘗試使用了InfluxDB，用于存儲大型中央空調(diào)設備產(chǎn)生的數(shù)據(jù)，目前項目已經(jīng)穩(wěn)定運行半年，與傳統(tǒng)DBMS相比，InflluxDB的存儲空間減少了近70%，存儲和查詢效率也有大幅度提升，并且通過InfluxDB集成的聚合函數(shù)和連續(xù)查詢功能，可以自動生成數(shù)據(jù)的日報表、月報表、年報表，極大減輕了開發(fā)成本和系統(tǒng)復雜度。

同樣，國內(nèi)由陶建輝領(lǐng)銜的濤思數(shù)據(jù)(TAOS Data)團隊也正在做時序數(shù)據(jù)庫產(chǎn)品TDengine，目前已經(jīng)開放測試，希望更多的國內(nèi)團隊做出屬于我們自己的優(yōu)秀數(shù)據(jù)庫產(chǎn)品。

四、結(jié)語

數(shù)據(jù)庫作為IT技術(shù)架構(gòu)的核心，新技術(shù)層出不窮，隨著物聯(lián)網(wǎng)及人工智能時代的到來，數(shù)據(jù)庫技術(shù)迎來高速發(fā)展期，DBMS與AI的結(jié)合，HTAP以及時序數(shù)據(jù)庫將解決企業(yè)海量數(shù)據(jù)增長帶來的各種需求及問題。