StarRocks 物化視圖創建與刷新全流程解析
最近在為 StarRocks 的物化視圖增加多表達式支持[1]的能力，于是便把物化視圖（MV）的創建刷新流程完成的捋了一遍。
這次從頭開始，從 MV 的創建開始來看看 StarRocks 是如何管理物化視圖的。
創建物化視圖
CREATE
MATERIALIZED VIEW mv_test99
REFRESH ASYNC EVERY(INTERVAL 60 MINUTE)
PARTITION BY p_time
PROPERTIES (
"partition_refresh_number" = "1"
)
AS
select date_trunc("day", a.datekey) as p_time, sum(a.v1) as value
from par_tbl1 a
group by p_time, a.item_id創建物化視圖的時候首先會進入這個函數：com.starrocks.sql.analyzer.MaterializedViewAnalyzer.MaterializedViewAnalyzerVisitor#visitCreateMaterializedViewStatement
圖片
其實就是將我們的創建語句結構化為一個
CreateMaterializedViewStatement對象，這個過程是使用 ANTLR 實現的。
這個函數負責對創建物化視圖的 SQL 語句進行語義分析、和基本的校驗。
比如：
? 分區表達式是否正確
? 基表、數據庫這些的格是否正確
圖片
校驗分區分區表達式的各種信息。
然后會進入函數：com.starrocks.server.LocalMetastore#createMaterializedView()
這個函數的主要作用如下：
1. 檢查數據庫和物化視圖是否存在。
2. 初始化物化視圖的基本信息：
? 獲取物化視圖的列定義（schema）
? 驗證列定義的合法性
? 初始化物化視圖的屬性（如分區信息）。
3. 處理刷新策略：
? 根據刷新類型（如 ASYNC、SYNC、MANUAL 或 INCREMENTAL）設置刷新方案。
? 對于異步刷新，設置刷新間隔、開始時間等，并進行參數校驗。
4. 創建物化視圖對象：
? 根據運行模式（存算分離和存算一體）創建不同類型的物化視圖對象
? 設置物化視圖的索引、排序鍵、注釋、基礎表信息等。
5. 處理分區邏輯：
? 如果物化視圖是非分區的，創建單一分區并設置相關屬性。
? 如果是分區的，解析分區表達式并生成分區映射關系
6. 綁定存儲卷：
? 如果物化視圖是云原生類型，綁定存儲卷。
圖片
序列化關鍵數據
對于一些核心數據，比如分區表達式、原始的創建 SQL 等，需要再重啟的時候可以再次加載到內存里供后續使用時；
就需要將這些數據序列化到元數據里。
這些數據定期保存在fe/meta目錄中。
圖片
我們需要序列化的字段需要使用 @SerializedName注解。
@SerializedName(value = "partitionExprMaps")
private Map<ExpressionSerializedObject, ExpressionSerializedObject> serializedPartitionExprMaps;同時在 com.starrocks.catalog.MaterializedView#gsonPreProcess/gsonPostProcess 這兩個函數中將數據序列化和反序列化。
元數據的同步與加載
當 StarRocks 的 FE 集群部署時，會由 leader 的 FE 啟動一個 checkpoint 線程，定時掃描當前的元數據是否需要生成一個 image.${JournalId} 的文件。
圖片
其實就是判斷當前日志數量是否達到上限（默認是 5w）生成一次。
具體的流程如下：
圖片
圖片
更多元數據同步和加載流程可以查看我之前的文章：深入理解 StarRocks 的元數據管理[3]
刷新物化視圖
創建完成后會立即觸發一次 MV 的刷新邏輯。
同步分區
圖片
刷新 MV 的時候有一個很重要的步驟：同步 MV 和基表的分區。
這個步驟在每次刷新的時候都會做，只是如果基表分區和 MV 相比沒有變化的話就會跳過。
這里我們以常用的 Range 分區為例，核心的函數為：com.starrocks.scheduler.mv.MVPCTRefreshRangePartitioner#syncAddOrDropPartitions
它的主要作用是同步物化視圖的分區，添加、刪除分區來保持 MV 的分區與基礎表的分區一致；核心流程：
1. 計算分區差異：根據指定的分區范圍，計算物化視圖與基礎表之間的分區差異。
2. 同步分區：
刪除舊分區：刪除物化視圖中與基礎表不再匹配的分區。
添加新分區：根據計算出的差異，添加新的分區到物化視圖。
圖片
分區同步完成之后就可以計算需要刷新的分區了：
image.png
以上內容再結合之前的兩篇文章：
就可以將整個物化視圖的創建與刷新的核心流程掌握了。
引用鏈接
[1] 多表達式支持: https://github.com/StarRocks/starrocks/pull/60035
[2] StarRocks 物化視圖刷新流程和原理: https://crossoverjie.top/2024/11/18/ob/StarRocks-MV-refresh-Principle/
[3] 深入理解 StarRocks 的元數據管理: https://crossoverjie.top/2024/11/11/ob/StarRocks-meta/
[4] StarRocks 物化視圖刷新流程和原理: https://crossoverjie.top/2024/11/18/ob/StarRocks-MV-refresh-Principle/
[5] 深入理解 StarRocks 的元數據管理: https://crossoverjie.top/2024/11/11/ob/StarRocks-meta/
