近期因工作需要對國內數家主流的數據庫運維管理平臺做了個調研,同時對這一產品的發展演進趨勢做了簡單分析,供大家參考。
1、數據庫運管平臺演進與特點
近年來,數據庫運維管理平臺市場非常活躍,涌現出一批有代表性的廠商產品,其背后也是數據庫管理需求變化所致。在深究下來,也是近些年數據庫技術演進與管理方式的變化所致。如上圖艾瑞整理的演進變化,從中我們可以觀察到較之以往的差異。下面我們聊聊有哪些鮮明的特點變化。
多樣性
隨著數據規模爆炸式增長及數據使用的多樣性,導致企業對數據庫的要求呈現多樣化特點。同時伴隨著近年來國內數據庫廠商及產品大量涌現,整體數據庫市場呈現“百花齊放”的狀態。企業不得不面臨管理大量不同種類數據庫的需求,進而導致企業對數據庫統一管理的需求突增。
跨平臺
隨著IT技術演進,企業基礎設施平臺走過了早期物理機、虛擬機,到后來的容器化、云與云原生之路。考慮到企業間發展階段差異,往往存在需對接不同平臺、甚至單一企業內部也存在多種平臺的情況。這也倒逼數據庫管理平臺方提供對多平臺的支持能力。
多架構
隨著數據庫技術演進,也同樣走過了從單機、集中式、到分布式、云原生的道路。且通常在一個企業內存在多種數據庫、多種技術架構產品并存。這同樣對數據庫管理類平臺提出了更高的要求。
獨立性
通常數據庫原廠都會提供自有產品的管理能力,但受到資源能限制,一般都會將主要力量投入到內核研發中。同時受到技術壁壘、行業分工以及其他市場因素的限制,數據庫原廠無法提供自身產品以外的跨數據庫統一管理和配套服務,留出的市場需求空白必然要由獨立的數據庫生態廠商進行補充。
全流程
從平臺管理能力上看,也不再僅僅局限于數據庫管理,而是覆蓋從基礎資源管理、數據庫自身管理、數據開發、數據安全等多方面,企業用戶也希望在單一平臺解決所有數據庫上下游相關工作。
開放性
很多企業,特別是中大型企業,都有自己一套IT管理方式,而不僅局限對產品使用。這主要是基于企業自身特點及統一化管理類訴求。此時就希望工具平臺提供一定的開放性,可以與企業內已有平臺很好融合使用。
智能化
近年來人工智能技術快速發展,給數據庫管理提供一種新的思路。以此幫助企業降低數據庫管理成本,提高數據庫管理質量和效率,加強數據庫的安全性和穩定性。上述能力也希望內置于數據庫管理平臺中,進而實現管理智能化。
2、數據庫運管平臺核心能力
如上面所談,數據庫運管平臺需支持對多平臺、多架構的數據庫產品在全生命周期內的管理維護工作,其包含的平臺能力非常繁多。前段時間對國內數據庫運維管理平臺做了個小調研,下文就是結合國內部分主流廠商產品能力,將平臺應具備的產品能力加以說明。受限于個人能力及收集到的資料完整性,下述功能對比僅代表個人意見。廠商產品我以代號標志,請勿對號入座哈:)
集成遷移
集成遷移能力,是企業使用數據庫的"高速公里"。這里包含異構數據庫之間的、云下云上之間的數據庫遷移同步能力;此外還包括如離線數據的導入導出及數據抽取架構等能力。從管理平臺角度看,這一能力并非剛需,部分廠商通過外置工具實現。從市場來看,很多專業的數據庫遷移同步廠商提供此類產品,用戶接受度也更高。
環境部署
環境部署,是指自動安裝數據庫環境,其價值在于減少人力成本和錯誤率。這一能力重點考察的是支持多種環境、支持安裝多種類數據庫、支持安裝多種架構的數據庫集群。從廠商功能調研結果來看,基本功能都是具備的,主要差異就在于支持范圍的大小。
彈性伸縮
彈性伸縮功能分為兩種,一種是Scale UP、一種是Scale Out。前者是垂直擴縮容資源即可,通過云、容器化能力相對容易實現,部分廠商產品也做的不錯。后者則是依賴于數據庫自身能力,有些數據庫原生就是分布式架構,提供對計算、存儲的擴展;有些數據庫是單機架構,則需要在前端提供分庫分片的能力才能實現擴容。
實例管理
實例管理,是解放DBA雙手的能力,可將數據庫管理動作標準化、在線化、甚至自動化。這部分重點強調管理能力的范圍,盡量將手工操作都白屏化。從廠商提供能力來看,基本都可以滿足常規的運維管理訴求。
性能服務
數據庫運行狀態是否OK?當前是否存在性能瓶頸?也是 DBA 日常管理重點關注的,這其中包括如熱點、負載、內存、緩存、I/O分析等。上述能力,可以讓DBA快速找到系統可能存在的瓶頸,并及時采取有效的干預手段。這些內容也是為后面的系統優化做一鋪墊。
系統優化
如何讓系統運行在最佳狀態下,之前很多是通過人工經驗完成,現在人工智能算法提供一種新思路。從使用來看,無論是前者,將人工經驗內置在系統中;還是后者,將算法模型來優化系統,只要能達到好的運行效果即可。這其中目前支持比較多的如實例參數、索引優化等,其他方面還有很大的提供空間。
監控巡檢
監控巡檢,就是提供數據庫運維日常的監控、告警和巡檢能力,是屬于一種“主動”的管理行為。其難點不在于收集到更多指標等,而是在于從繁多的監控指標或巡檢數據中,找到系統運行風險的蛛絲馬跡。這里可結合一些人工智能的能力,盡量做到不漏不丟的前提下,減輕被監控端的壓力。
故障處理
故障處理,是指對故障進行智能分析、診斷和自動化處理。這對于快速解決系統問題,減少 RTO 很有意義。隨著數據庫系統越來越復雜,通過人工在紛繁復雜的故障問題中快速定位、快速解決愈發變的困難。這一能力對 DBA 尤為重要。這其中難點在于通過人工經驗抽象積累和故障案例的學習,提升系統處理故障的能力。
備份恢復
數據安全是DBA的生命線,通過平臺協助企業進行全量、增量備份與恢復管理是非常有價值的。這一功能難點在于,一是大量數據庫實例備份恢復的管理,二是備份恢復中減少對線上環境的影響,三是可對備份集做檢測減少丟失風險,四是提供比較友好的交互方式。
高可用
數據庫可用性,是保障業務連續性的前提,也是企業最為關注的能力。管理平臺一方面可提供不同高可用架構的搭建,另一方面當出現故障時可快速實現高可用切換,減少RTO。這其中的難點在于,不同數據庫高可用能力差異巨大,有些只能通過外部工具方式輔助完成;且如何實現對前端業務的無感知也是重點。此外,針對同城、異地等多種條件下的可用性要求,對平臺提出了更高的要求。從調研來看,這方面還有較長的一段距離。
容量管理
容量管理,是指對數據庫的計算及存儲資源做的管理動作,可盡早發現可能的容量問題,提前做好資源規劃。其中包括如計算容量、庫容量、表空間、數據對象等的管理。如企業業務發展很快,對容量管理這部分就很重要;再比如有類似雙11的大促活動等,也需要此能力。但相對而言,這部分能力現有工具平臺相對功能較弱。
安全管控
安全管控,是指提供數據庫之上包括運維管理、數據開發、數據流轉等全方位的管控能力。這其中涉及的方面很多,有些依賴于數據庫自身安全能力,有些則需平臺方提供。從調研來看,這方面能力參差不齊,差異較大;而且一般來說也有很多數據庫安全產品提供此類能力,用戶可基于其他平臺構建。
運營支持
運營支持,是指將平臺管理的各類數據提供類似可視化大屏能力,可方便用戶快速了解整體使用情況。
多數據庫
如前面所說,當前企業用戶使用的數據庫眾多,需要運維管理平臺提供多種數據庫支持能力。特別是隨著近些年國產信創需求,很多用戶開始在生產環境使用國產數據庫。作為一種新引入的數據庫產品,是急需管理平臺來解決日常管理問題,降低使用門檻。但這方面往往困難較多,一方面確實待支持的產品很多、架構差異很大,二方面國產數據庫的完整度還有待提升,特別是對于外部生態工具的支持還有不小的差距。
多平臺
如前面所說,當前企業使用多種平臺管理數據庫,同樣需要運維管理平臺支持上述能力。特別是隨著容器化、云化日益被客戶所接受,對上述平臺的管理支持能力尤為重要。這其中面臨的問題主要是管理方式的統一抽象,提供標準化的管理能力。
租戶隔離
隨著數據庫能力的提升,很多用戶處于成本經濟性、管理便捷性等角度出發,考慮使用租戶能力。但不同數據庫提供的租戶能力差異很大,管理平臺相對比較受限于底層能力。這方面相對能做的不多。
數據開發
為提升數據開發的效率,很多平臺提供對數據開發的增強的支持,其中包括如數據庫審核、SQL質量管理等。受眾群體包括DBA、DEV、TEST等多類人群。這部分作為相對邊緣的功能,各廠商差異很大,有些通過獨立產品提供相對完整的產品功能。
開放能力
除了平臺自身提供的能力外,如何與企業內其他平臺協同也很重要,這就涉及到平臺是否提供開放能力,例如 API 的方式。特別是對一些傳統企業、中大型企業和互聯網公司,尤為重要。
3、數據庫運管平臺發展趨勢
為滿足前文所談的多樣性、跨平臺、異構化等趨勢,數據庫運維管理平臺發展趨勢包括以下幾個方面:
- 云化趨勢:隨著云計算技術的迅速發展,云化趨勢將成為數據庫運維管理平臺的主流發展趨勢。數據庫運維管理平臺將逐漸向基于云的SaaS平臺發展,實現跨地域、跨云平臺的資源監控和管理。
- 智能化趨勢:數據庫運維管理平臺將更加注重應用人工智能、機器學習等技術,實現數據庫管理自動化和智能化。例如,數據庫自我診斷、自我優化、自我備份和恢復等功能將逐漸成為發展的方向。
- 多模式趨勢:隨著數據儲存模式的多樣化,數據庫運維管理平臺將逐漸實現多模式的數據存儲,管理和控制,并實現多模型數據的查詢和分析。
- 安全智防趨勢:隨著數據庫安全事件頻繁發生,數據庫運維管理平臺將更加注重數據庫安全的智能防護。例如對不合法的SQL操作,惡意登錄,數據泄漏等安全事件進行實時監控,及時發現并處理異常情況。
- 自動化趨勢:數據庫運維管理平臺將更加注重自動化運維的發展,推進各項操作的自動化實現,減少人工操作的參與,提高運維效率和管理質量。
綜上所述,數據庫運維管理平臺將逐漸實現云化、智能化、多模式化、安全化和自動化的發展趨勢。作為一個專門用于進行數據庫管理和運維的平臺,將實現更高效的數據庫管理,更保障企業數據的可靠性和安全性。
作者介紹
韓鋒,51CTO社區編輯,CCIA(中國計算機協會)常務理事,前Oracle ACE,騰訊TVP,阿里云MVP,dbaplus等多家社群創始人或專家團成員。有著豐富的一線數據庫架構、軟件研發、產品設計、團隊管理經驗。曾擔任多家公司首席DBA、數據庫架構師等職。在云、電商、金融、互聯網等行業均有涉獵,精通多種關系型數據庫,對NoSQL及大數據相關技術也有涉足,實踐經驗豐富。曾著有數據庫相關著作《SQL優化最佳實踐》、《數據庫高效優化》。