PingCAP 發布TiDB 5.0 打造完整 HTAP 能力的分布式數據庫
原創【51CTO.com原創稿件】 PingCAP 是一家企業級開源分布式數據庫廠商,成立六年來,所開發的分布式關系型數據庫 TiDB 已經被全球超過1500家企業用于線上生產環境,包括像銀行、電信、醫院等傳統企業,也有騰訊、美團、新浪微博、嗶哩嗶哩等互聯網企業。
近日,PingCAP 正式發布面向企業級核心場景的 TiDB 5.0 版本,通過引入 MPP (Massively Parallel Processing,即大規模并行處理)架構成為具備完整 HTAP 能力的分布式數據庫,為高成長企業和數字化創新場景提供一棧式數據服務平臺。
企業級數據庫就要“省心、放心、不擔心”
在PingCAP成立之初,目標就是要開發一款通用型數據庫,因為基礎軟件必須通用才能有更高的天花板。所以,TiDB的研發從零開始,每行代碼都是PingCAP的工程師寫出來的,因此核心代碼(自主可控率)是100%。
早期,TiDB是一個救命型的產品,第一個用戶是一家游戲公司。在這家游戲公司決定廣告應該投放在什么渠道時,數據庫查詢出現了瓶頸。TiDB的出現,讓這家游戲公司在不用修改代碼的情況下,就完成了查詢速度從20分鐘到10秒鐘的飛躍。而這個客戶的需求其實就是實時分析需求,也為后來PingCAP發展HTAP做了鋪墊。
在有了第一家客戶后,PingCAP開始逐漸積累了眾多互聯網企業客戶。但很多客戶最關注的是企業的產品有沒有應用在金融行業的核心系統中,于是,PingCAP又繼續發展到金融等傳統行業。然而,每個人對于企業級數據庫的理解不一,服務過大型傳統企業、閉源的、收費昂貴的軟件,就真的是企業級么?
在PingCAP聯合創始人兼CTO黃東旭看來,用戶一定是想用一個穩定、數據不出錯并且是整合的數據庫,因此真正的企業級數據庫應該是“省心,放心,不擔心”。業務代碼盡可能不修改,不學習新東西就可以搞定業務問題,用起來省心;數據不出錯、不丟失、性能無抖動、維護不愁人,用起來放心;業務高速增長,數據庫可以輕松應對帶來的復雜性和挑戰,用起來不擔心。
TiDB 5.0 修煉內功
HTAP (Hybrid Transactional/Analytical Processing,即混合事務 / 分析處理)數據庫能夠在一份數據源上同時支撐在線事務處理(OLTP)和在線分析處理(OLAP)場景,避免了傳統架構中在線與離線數據庫之間大量的數據交互。Gartner 認為, HTAP 數據庫將成為數據庫領域的重要發展趨勢,一個集成的數據平臺將會加速數字化轉型。
TiDB 早在 1.0 版本就實現了 OLTP Scale(在線事務處理的規模化擴展),4.0 版本已經實現初步的 HTAP 能力。黃東旭指出,TiDB 5.0更多的是在修煉內功,其中最大的一個特點就是補全MPP,使得TiDB成為具備完整 HTAP 能力的分布式數據庫。這個功能的加入標志著TiDB終于成為一個橫跨OLTP在線交易業務和OLAP數據倉庫的具備全功能數據分析的數據庫,這也是第一個開源的企業級的real-time HTAP數據庫。
5.0 版本在原有 HTAP 引擎 TiFlash 的基礎上引入 MPP 架構,提供與存儲匹配的分布式計算引擎,進一步提升海量數據下的并行計算與分析能力。通過與 TiDB-Server 共享 SQL 前端,實現解析器(Parser)和優化器的共享,TiDB 向業務提供一體化的入口,能夠自動選擇單機執行或 MPP 模式,并且將事務型和分析型的負載隔離,使得雙方在高并發量壓力下互不干擾。
此外,TiDB 5.0 基于分布式架構,支持云原生與多云,可以彈性擴展吞吐或存儲,輕松應對高并發、海量數據場景,實現一棧式數據服務。企業級用戶和互聯網用戶都可以通過一套 TiDB 系統構建數字場景應用,而不必關注底層架構。SaaS 廠商和獨立軟件開發商都可以通過簡化的 TiDB 技術棧獲得敏捷開發、易于運維的數據底座。
TiDB 5.0 在性能方面取得了巨大的進步,通過提供聚簇索引、異步提交事務功能, 在 Sysbench 和 TPC-C 等 OLTP 基準測試中,獲得均值 50% 的性能提升。同時,TiDB 5.0 通過優化調度過程中對 I/O、網絡、CPU、內存等資源的占用,大幅減少因為資源被搶占而出現的 QPS(每秒查詢量) 抖動問題,在 TPC-C OLTP 的基準測試中,衡量 TPC-C tpmC 抖動標準差的值小于等于 2%。TiFlash MPP 在 OLAP 方面更是獲得了同等配置下數倍于 GreenPlum 的性能優勢。
未來發展
據了解,PingCAP 成立之初就以開源作為核心戰略,高度活躍的開源社區為 TiDB 產品發展帶來了飛輪效應,TiDB 還是一個生態友好型的數據庫,TiDB 5.0 集成了更豐富的大數據生態,新增 Kafka 連接器 、支持 S3 存儲服務,并提供多個數據遷移、導入與共享組件,方便用戶在自己的異構環境使用 TiDB。
黃東旭指出,5.0 是 TiDB 的里程碑,標志著 TiDB 成為一個完整能力的 Real-Time HTAP 分布式數據庫。但是里程碑不是終點,所有的基礎軟件都會在云基礎設施的背景下被重新發明一遍,PingCAP 已經準備好重新出發,讓數據庫回歸原本的樣子。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】