一、引言：數據湖存儲的生命周期管理挑戰

在實時數據湖架構中，Apache Paimon以其高效的流批一體能力成為核心存儲層。隨著數據持續寫入，快照文件和歷史分區不斷累積，不僅占用大量存儲空間，還會降低查詢性能。自動分區清理與自動快照清理是Paimon實現存儲優化的兩大核心機制，二者協同工作，共同保障數據湖的高效運行。本文將深入解析這兩種機制的原理、關聯關系、配置方法及最佳實踐，為數據湖運維提供全面指導。

二、核心概念：快照與分區的定義與作用

1. 快照（Snapshot）：數據版本的時間切片

快照是Paimon表在某個時間點的狀態快照，記錄了該時刻表的完整數據視圖。每個快照包含以下關鍵信息：

• 對應的Schema文件
• 清單列表（manifest list），記錄數據文件的增刪變更
• 生成時間戳及元數據

快照的核心作用是支持時間旅行（Time Travel），用戶可通過指定快照ID查詢歷史數據。例如，通過SELECT * FROM table TIMESTAMP AS OF '2024-07-01 00:00:00'訪問特定時間點的表狀態。

2. 分區（Partition）：數據的邏輯劃分單元

分區是Paimon借鑒Apache Hive的邏輯劃分機制，將表數據按分區鍵（如時間、地域）拆分為多個獨立目錄。分區的主要價值在于：

• 減少查詢掃描范圍，提升讀取效率
• 實現數據生命周期的精細化管理
• 支持按分區并行寫入和處理

例如，按dt（日期）分區的表，數據會存儲在dt=20240701、dt=20240702等子目錄中。

三、自動快照清理：版本管理的核心機制

1. 快照清理的觸發邏輯

Paimon的快照清理由寫入作業在提交新數據時自動執行，觸發條件基于以下三個表屬性的組合判斷：

清理規則：當快照總數超過num-retained.max，或最早快照的生成時間超過time-retained時，系統會刪除最舊的快照，直至滿足以下條件：

• 剩余快照數量 ≤ num-retained.max
• 所有剩余快照的生成時間均未超過time-retained
• 且至少保留num-retained.min個快照

2. 快照清理的工作流程

• 標記過期快照：寫入作業提交時，檢查當前快照列表，篩選出符合清理條件的快照。
• 刪除快照元數據：刪除過期快照的JSON文件（位于snapshot目錄下）。
• 級聯刪除數據文件：刪除僅被過期快照引用的數據文件（.orc/.parquet）和清單文件（manifest）。

注意：若數據文件同時被未過期的快照引用，則不會被刪除。這確保了時間旅行查詢的正確性。

3. 配置樣例：基礎快照清理策略

(1) 創建表時配置快照清理

CREATETABLE user_behavior (
    user_id BIGINT,
    item_id BIGINT,
    behavior STRING,
    dt STRING,
PRIMARYKEY(user_id, dt)NOT ENFORCED
)WITH(
'snapshot.num-retained.min'='5',-- 至少保留5個快照
'snapshot.num-retained.max'='20',-- 最多保留20個快照
'snapshot.time-retained'='24h',-- 快照保留24小時
'partition.expiration-time'='7d'-- 分區過期時間（后續詳解）
);

(2) 動態修改快照清理策略

ALTERTABLE user_behavior SET(
'snapshot.time-retained'='48h',-- 調整為保留48小時
'snapshot.num-retained.max'='30'-- 最多保留30個快照
);

四、自動分區清理：數據生命周期的精細化控制

1. 分區清理的核心參數

分區清理通過以下參數定義過期規則，僅對分區表生效：

2. 分區清理的執行邏輯

(1) 分區過期判斷

values-time策略（默認）：

• 通過timestamp-pattern將分區值轉換為時間字符串。例如，分區dt=20240701，配置'partition.timestamp-pattern' = '$dt'，'partition.timestamp-formatter' = 'yyyyMMdd'，則提取時間為2024-07-01 00:00:00。
• 分區存活時長 = 當前系統時間 - 提取的時間戳，若超過expiration-time則標記過期。

update-time策略：

• 基于分區的最后更新時間（由Paimon自動記錄）判斷是否過期，無需配置timestamp-pattern和formatter。適用于分區值非日期格式的場景（如region=華北）。

(2) 分區的邏輯刪除與物理刪除

• 邏輯刪除：分區過期后，最新快照將不再包含該分區的數據，查詢時無法訪問，但物理文件仍存在。
• 物理刪除：僅當包含該分區的所有快照均過期后，分區數據文件才會被物理刪除。這是Paimon保障數據一致性的關鍵機制。

3. 配置樣例：多場景分區清理策略

場景1：單分區字段（dt），按日期過期

CREATETABLE sales (
    order_id BIGINT,
    amount DECIMAL(10,2),
    dt STRING,-- 分區列，格式如'20240701'
PRIMARYKEY(order_id, dt)NOT ENFORCED
) PARTITIONED BY(dt)
WITH(
'partition.expiration-time'='30d',-- 分區保留30天
'partition.timestamp-pattern'='$dt',-- 從dt字段提取時間
'partition.timestamp-formatter'='yyyyMMdd',-- dt格式為年月日
'partition.expiration-strategy'='values-time'-- 基于分區值時間
);

場景2：多分區字段（year, month, day）

CREATETABLE logs (
    log_id BIGINT,
    content STRING,
yearINT,
monthINT,
dayINT,
PRIMARYKEY(log_id,year,month,day)NOT ENFORCED
) PARTITIONED BY(year,month,day)
WITH(
'partition.expiration-time'='90d',-- 分區保留90天
'partition.timestamp-pattern'='$year-$month-$day',-- 組合為'2024-07-01'
'partition.timestamp-formatter'='yyyy-MM-dd'-- 匹配組合后的格式
);

場景3：非日期分區，基于更新時間過期

CREATETABLE device_status (
    device_id STRING,
status STRING,
    region STRING,-- 分區列，如'華北'、'華東'
PRIMARYKEY(device_id, region)NOT ENFORCED
) PARTITIONED BY(region)
WITH(
'partition.expiration-time'='7d',-- 分區保留7天
'partition.expiration-strategy'='update-time'-- 基于最后更新時間
);

五、自動分區清理與快照清理的協同關系

1. 依賴關系：分區清理依賴快照清理

分區數據的物理刪除是快照清理的副產品。即使分區已邏輯過期（超過expiration-time），只要仍有未過期的快照引用該分區，其數據文件就不會被刪除。只有當所有包含該分區的快照均過期并被清理后，分區文件才會被物理刪除。

示例：某分區dt=20240601配置expiration-time=30d，于7月1日邏輯過期。若此時仍有6月15日生成的快照（time-retained=30d，將于7月15日過期）引用該分區，則該分區的物理刪除需等待至7月15日快照清理后執行。

2. 沖突與協調：參數配置的聯動性

(1) 快照保留時間過短：若snapshot.time-retained小于partition.expiration-time，可能導致分區未邏輯過期但快照已清理，此時分區數據文件會被提前刪除，引發查詢異常。

解決方案：確保snapshot.time-retained ≥ partition.expiration-time，例如分區保留7天，則快照至少保留7天。

(2) 快照數量過多：若snapshot.num-retained.max設置過大，可能導致大量舊快照引用歷史分區，阻礙分區物理刪除。

解決方案：結合業務查詢需求，合理設置num-retained.max，避免快照無限制累積。

六、手動清理與運維工具

1. 清理廢棄文件（Orphan Files）

由于作業失敗、中斷等異常情況，Paimon表目錄中可能遺留未被任何快照引用的臨時文件（如.tmp、未提交的日志文件），需通過remove_orphan_files存儲過程手動清理：

-- 清理創建時間超過1天的廢棄文件（默認行為）
CALL`paimon_catalog`.sys.remove_orphan_files('mydb.user_behavior');

-- 清理指定時間前的廢棄文件（如清理2024-07-01前創建的文件）
CALL`paimon_catalog`.sys.remove_orphan_files('mydb.user_behavior','2024-07-01 00:00:00');

2. 手動觸發快照/分區清理

若需立即執行清理（如存儲空間緊急），可通過expire_snapshots和expire_partitions存儲過程手動觸發：

-- 手動觸發快照清理，保留最多10個快照，且僅保留24小時內的快照
CALL sys.expire_snapshots(
table=>'mydb.sales',
    retain_max =>10,
    older_than =>TIMESTAMP'2024-07-14 00:00:00'
);

-- 手動觸發分區清理，指定過期時間為30天
CALL sys.expire_partitions(
table=>'mydb.logs',
    expiration_time =>'30d',
    timestamp_pattern =>'$year-$month-$day',
    timestamp_formatter =>'yyyy-MM-dd'
);

七、優秀實踐與注意事項

1. 參數配置的業務適配

• 實時場景（如監控數據）：快照保留短（1-2小時），分區保留短（7-15天），配置'snapshot.time-retained' = '2h'，'partition.expiration-time' = '7d'。
• 批處理場景（如報表數據）：快照保留長（7-30天），分區保留長（90-180天），配置'snapshot.time-retained' = '30d'，'partition.expiration-time' = '180d'。

2. 版本兼容性

自動分區清理和快照清理功能需Paimon 0.4+ 及 Flink VVR 8.0.5+ 支持，低版本需升級引擎。

Paimon 0.8.0+ 新增changelog.time-retained參數，支持變更日志與快照生命周期解耦，進一步優化存儲效率。

3. 監控與告警

定期監控快照數量（snapshot目錄文件數）和分區大小，避免存儲膨脹。

配置告警閾值：當快照數量超過num-retained.max的80%或分區存儲占比超過閾值時觸發告警。

4. 結合Tag功能保存關鍵歷史狀態

對于需長期保留的重要數據版本（如月末結算數據），可通過Tag功能固化快照，避免被自動清理：

-- 創建Tag固化快照（基于最新快照）
CREATETABLE user_behavior WITH(
'tag.automatic-creation'='process-time',-- 自動創建Tag
'tag.creation-period'='daily',-- 每天創建一個Tag
'tag.num-retained-max'='90'-- Tag保留90天
);

Paimon的自動分區清理與快照清理是實現數據湖存儲優化的核心機制。快照清理通過控制版本數量和保留時間管理數據文件生命周期，分區清理則基于時間策略實現邏輯數據的精細化淘汰，二者通過“快照引用”機制緊密聯動，共同保障數據湖的高效、低成本運行。