多款OLAP數據庫大比拼，誰更勝一籌？
昨天在群里聊到多款OLAP數據庫的性能對比，想到之前網上找到的一個benchmark， TPCH_Python_SQL_Engines.ipynb（出處已不可考）， 并且為了4月26日的演講，特意在4月24日跑了一遍，這個是2024年4月24日的對比結果。
圖片
圖片
從上面的截圖可以看到， 這里參加評比的有：
? HyPer：HyPer 是一種高性能、混合事務和分析處理（HTAP）數據庫，專為實時數據分析和事務處理而設計。
? DuckDB：DuckDB 是一款輕量級的嵌入式分析數據庫，專注于高效處理SQL查詢和分析任務。
? GlareDB：GlareDB 是一種新型數據庫，專注于高性能和擴展性，以滿足現代數據密集型應用的需求。
? Databend（國產）：Databend 是一款國產云原生數據倉庫，支持彈性擴展和高效的數據分析。
? DataFusion：DataFusion 是 Apache Arrow 的一個子項目，用于構建高性能的數據處理引擎和分布式 SQL 查詢執行。
? CHDB：CHDB 是 ClickHouse 的嵌入式版本，適用于需要在進程內高效處理列存儲數據的場景。
? Apache Spark：Apache Spark 是一個開源的分布式計算系統，支持大規模數據處理和并行計算。
本次還將加入
? Polars：Polars 是一個基于 Rust 的高性能 DataFrame 庫，專為高效的數據處理和分析而設計。
本次測試結果
當時的chdb雖然墊底，但至少還可以跑通
昨天又使用最新版本作了對比， 這次chdb卡在了Query08和Query09上， 為了確認Query09很耗時，我在我的筆記本（mac M2Max 32GB內存）上做了測試，耗時158s多。
圖片
? chdb的結果是query08、query09 卡死，放棄后繼續后面的查詢。08 和09 的結果比這里看到的數據還要糟糕
? 因為Polars對SQL的支持有限， Polars 根據官方的TPCH[1]做的修改， 另外Query 17的結果是錯誤的，問題放在后面描述。
? 對比4月份，性能都下降了，難道是Google Colab縮水了？
圖片
圖片
去掉墊底的chdb和pyspark
為了方便比較，去掉了兩個墊底的：chdb和pyspark
圖片
圖片
Polars的奇怪bug
import pandas as pd
import duckdb
import polars as pl
duckdb.sql("select x, y::decimal(15,2) y from df").to_parquet('decimal.pq')
decimal = pl.scan_parquet('decimal.pq')? 結果錯誤
pl.sql("""
select x,
avg(y) as avg_y
from decimal
group by 1
""").collect()
圖片
? 這樣OK
# 結果正確
pl.sql("""
select x,
sum(y) as sum_y
from decimal
group by 1
""").collect()
圖片
? 這樣也可以
pl.sql("""
select x,
sum(y)/count(*) as avg_y
from decimal
group by 1
""").collect()查找手冊的時候發現。
圖片
好吧， 該類型仍不穩定。
優雅的代碼
你覺得這樣寫優雅。
import pandas as pd
duck_import = pd.read_csv('./result/duckdb.csv')
hyper = pd.read_csv('./result/hyper.csv')
databend = pd.read_csv('./result/databend.csv')
datafusion = pd.read_csv('./result/datafusion.csv')
glaredb = pd.read_csv('./result/glaredb.csv')
chdb = pd.read_csv('./result/chdb.csv')
apachespark = pd.read_csv('./result/apachespark.csv')
polars = pd.read_csv('./result/polars.csv')
concat = duckdb.sql('''select duck_import.query as query,
duck_import.dur as DuckDB , hyper.dur as hyper ,
databend.dur as databend , datafusion.dur as datafusion,
glaredb.dur as glaredb,chdb.dur as chdb,
apachespark.dur as apachespark,ploars.dur as polars
from duck_import
left join hyper
on duck_import.query=hyper.query
left join databend
on duck_import.query=databend.query
left join datafusion
on duck_import.query=datafusion.query
left join glaredb
on duck_import.query=glaredb.query
left join chdb
on duck_import.query=chdb.query
left join apachespark
on duck_import.query=apachespark.query
left join polars
on duck_import.query=polars.query
''').df()
concat還是這樣寫優雅。
import duckdb
concat = duckdb.sql("""
WITH aa AS (
SELECT *
FROM read_csv('result/*.csv', filename=true)
),
bb AS (
SELECT
* EXCLUDE (filename),
REPLACE(REPLACE(filename, '.csv', ''), 'result/', '') AS engine
FROM aa
)
PIVOT bb
ON engine
USING max(dur)
ORDER BY query;
""").df()
concat以上兩段代碼結果一樣。
圖片
結論
從上面的粗淺測試來看， 開源的DuckDB和Databend非常值得關注， Polars對SQL支持有限，對Decimal支持有限，入坑請慎重。
Google Colab 到底是不是縮水了？如何驗證？
