騰訊云2篇論文入選國際頂會ICDE,攻堅多項數據庫難題
今日獲悉,騰訊云數據庫2篇論文入選國際數據庫頂級會議ICDE。其分布式事務協議——Lion和內存-磁盤跨越索引設計框架,解決了數據庫領域的普遍難題,技術創新獲得國際權威認可。
(騰訊云數據庫團隊在ICDE會場進行技術分享)
據悉,ICDE(IEEE International Conference on Data Engineering)是數據庫研究領域歷史悠久的國際會議,與SIGMOD、VLDB并稱數據庫三大頂級會議,也是中國計算機學會(CCF)推薦的A類國際會議,主要聚焦設計、構建、管理和評估高級數據密集型系統和應用等前沿研究問題。
如今,分布式數據庫已成為企業存儲和管理海量數據的重要工具,在分布式事務處理過程中,常常涉及多輪跨節點的通信,處理速度較慢。過去為提高性能,業內多通過遷移將分布式事務轉換為單節點事務。但基于遷移的方法可能會因等待數據遷移而導致事務被阻塞,而超級節點可能會成為瓶頸。
此次,騰訊云和中國人民大學合作入選ICDE的論文《Lion: Minimizing Distributed Transactions through Adaptive Replica Provision》,則為這一難題提出了一種新穎的事務處理協議——Lion。作為一種自適應的副本放置機制,Lion利用基于分區的復制來減少分布式事務的發生。該機制增強了基于LSTM的工作負載預測算法,以確定定位共同訪問分區的副本的適當節點。通過采用這種自適應副本放置策略,可以確保大多數事務可以在單個節點上高效處理,而無需額外的開銷。因此,Lion有效地最小化了分布式事務,同時避免了由數據遷移或超級節點的創建引起的任何中斷。大量實驗結果顯示,Lion與各種先進的事務處理協議相比,吞吐量提高了最多2.7倍、可擴展性提高了76.4%。
ICDE評審委員會也對論文研究成果給予了高度認可,認為Lion所提出的調整策略考慮了歷史信息和未來工作負載的變化,并經過全面性評估實驗,不僅可顯著提高分布式數據庫系統的吞吐量,技術先進性還在大部分情況下超越了數據遷移技術、不對稱復制方法和確定性方法等。
另外,針對數據庫系統中,索引可能會消耗大量內存而無法完全存放的難題,騰訊云聯合德州大學阿靈頓分校,在入選ICDE論文《IndeXY: A Framework for Constructing Indexes Larger than Memory》中,提出了名為IndeXY的內存-磁盤跨越索引設計框架。該框架解耦了索引內存部分和磁盤部分的設計,精心設計內存部分向磁盤的選擇性卸載并優化了磁盤重新加載索引并保留在內存的策略,以最大化優化內存訪問機會和效率。
該框架允許單獨采用一個內存索引設計,以及一個被認為最適合其工作負載的磁盤數據組織和訪問方案,實驗顯示,這一設計可將TPC-C工作負載提高高達8.6倍的吞吐量,且可以提高幾乎所有YCSB工作負載的性能。
ICDE評審委員會認為,該論文解決了Index在內存索引必須溢出到磁盤時索引效率的關鍵問題,為企業提供了一個可按需選擇的組合方案(任何基于內存的索引IndeX+任何基于磁盤的索引IndeY),且內存和磁盤上的索引都可以單獨進行優化。
作為國產數據庫行業的先行者,騰訊云至今已經深耕數據庫領域十余年,服務客戶數超過50萬,覆蓋金融、政府、電商、游戲等眾多行業。未來,騰訊云也將持續創新技術,打磨產品和解決方案,為更多企業提供高可靠、高可用、高安全的數據庫服務,加速企業數字化升級與業務創新。