最近在為 StarRocks 的物化視圖增加多表達式支持^[1]的能力，于是便把物化視圖（MV）的創建刷新流程完成的捋了一遍。

這次從頭開始，從 MV 的創建開始來看看 StarRocks 是如何管理物化視圖的。

創建物化視圖

CREATE
MATERIALIZED VIEW mv_test99
REFRESH ASYNC EVERY(INTERVAL 60 MINUTE)
PARTITION BY p_time
PROPERTIES (
"partition_refresh_number" = "1"
)
AS
select date_trunc("day", a.datekey) as p_time, sum(a.v1) as value
from par_tbl1 a
group by p_time, a.item_id

創建物化視圖的時候首先會進入這個函數：com.starrocks.sql.analyzer.MaterializedViewAnalyzer.MaterializedViewAnalyzerVisitor#visitCreateMaterializedViewStatement

圖片

其實就是將我們的創建語句結構化為一個 CreateMaterializedViewStatement 對象，這個過程是使用 ANTLR 實現的。

這個函數負責對創建物化視圖的 SQL 語句進行語義分析、和基本的校驗。

比如：

? 分區表達式是否正確

? 基表、數據庫這些的格是否正確

圖片

校驗分區分區表達式的各種信息。

然后會進入函數：com.starrocks.server.LocalMetastore#createMaterializedView()

這個函數的主要作用如下：

1. 檢查數據庫和物化視圖是否存在。

2. 初始化物化視圖的基本信息：

? 獲取物化視圖的列定義（schema）

? 驗證列定義的合法性

? 初始化物化視圖的屬性（如分區信息）。

3. 處理刷新策略：

? 根據刷新類型（如 ASYNC、SYNC、MANUAL 或 INCREMENTAL）設置刷新方案。

? 對于異步刷新，設置刷新間隔、開始時間等，并進行參數校驗。

4. 創建物化視圖對象：

? 根據運行模式（存算分離和存算一體）創建不同類型的物化視圖對象

? 設置物化視圖的索引、排序鍵、注釋、基礎表信息等。

5. 處理分區邏輯：

? 如果物化視圖是非分區的，創建單一分區并設置相關屬性。

? 如果是分區的，解析分區表達式并生成分區映射關系

6. 綁定存儲卷：

? 如果物化視圖是云原生類型，綁定存儲卷。

圖片

序列化關鍵數據

對于一些核心數據，比如分區表達式、原始的創建 SQL 等，需要再重啟的時候可以再次加載到內存里供后續使用時；

就需要將這些數據序列化到元數據里。

這些數據定期保存在fe/meta目錄中。

圖片

我們需要序列化的字段需要使用 @SerializedName注解。

@SerializedName(value = "partitionExprMaps")  
private Map<ExpressionSerializedObject, ExpressionSerializedObject> serializedPartitionExprMaps;

同時在 com.starrocks.catalog.MaterializedView#gsonPreProcess/gsonPostProcess 這兩個函數中將數據序列化和反序列化。

元數據的同步與加載

當 StarRocks 的 FE 集群部署時，會由 leader 的 FE 啟動一個 checkpoint 線程，定時掃描當前的元數據是否需要生成一個 image.${JournalId} 的文件。

圖片

其實就是判斷當前日志數量是否達到上限（默認是 5w）生成一次。

具體的流程如下：

圖片

圖片

更多元數據同步和加載流程可以查看我之前的文章：深入理解 StarRocks 的元數據管理^[3]

刷新物化視圖

創建完成后會立即觸發一次 MV 的刷新邏輯。

同步分區

圖片

刷新 MV 的時候有一個很重要的步驟：同步 MV 和基表的分區。

這個步驟在每次刷新的時候都會做，只是如果基表分區和 MV 相比沒有變化的話就會跳過。

這里我們以常用的 Range 分區為例，核心的函數為：com.starrocks.scheduler.mv.MVPCTRefreshRangePartitioner#syncAddOrDropPartitions

它的主要作用是同步物化視圖的分區，添加、刪除分區來保持 MV 的分區與基礎表的分區一致；核心流程：

1. 計算分區差異：根據指定的分區范圍，計算物化視圖與基礎表之間的分區差異。

2. 同步分區：

刪除舊分區：刪除物化視圖中與基礎表不再匹配的分區。

添加新分區：根據計算出的差異，添加新的分區到物化視圖。

圖片

分區同步完成之后就可以計算需要刷新的分區了：

image.png

以上內容再結合之前的兩篇文章：

? StarRocks 物化視圖刷新流程和原理^[4]

? 深入理解 StarRocks 的元數據管理^[5]

就可以將整個物化視圖的創建與刷新的核心流程掌握了。

引用鏈接

[1] 多表達式支持: https://github.com/StarRocks/starrocks/pull/60035

[2] StarRocks 物化視圖刷新流程和原理: https://crossoverjie.top/2024/11/18/ob/StarRocks-MV-refresh-Principle/

[3] 深入理解 StarRocks 的元數據管理: https://crossoverjie.top/2024/11/11/ob/StarRocks-meta/

[4] StarRocks 物化視圖刷新流程和原理: https://crossoverjie.top/2024/11/18/ob/StarRocks-MV-refresh-Principle/

[5] 深入理解 StarRocks 的元數據管理: https://crossoverjie.top/2024/11/11/ob/StarRocks-meta/