完整解讀：Percona XtraBackup 8備份神器的全面指南

作者：吳守陽 2024-06-21 08:00:00

Percona XtraBackup 是一款開源的備份工具，專為 MySQL 及其分支（如 Percona Server 和 MariaDB）數據庫設計。它允許在不中斷數據庫操作的情況下執行熱備份，確保數據的一致性和可恢復性。

作者 | 吳守陽

審校 | 重樓

介紹

Percona XtraBackup 是一款開源的備份工具，專為 MySQL 及其分支（如 Percona Server 和 MariaDB）數據庫設計。它允許在不中斷數據庫操作的情況下執行熱備份，確保數據的一致性和可恢復性。Percona XtraBackup 是該工具的最新版本，帶來了若干改進和新功能。

工作原理

1. 基本原理

重做日志（Redo Log）：

重做日志 是 InnoDB 用于記錄每一個數據更改的日志文件。即使在崩潰的情況下，重做日志也可以幫助恢復數據的一致性。
InnoDB 啟動時會檢查數據文件和重做日志，并執行兩個步驟：

（1）應用已提交的事務：將已提交的事務日志條目應用到數據文件，使其最新。

（2）撤銷未提交的事務：撤銷任何已修改但未提交的數據，以確保數據一致性。

2. 備份過程

啟動備份：

XtraBackup 啟動時會記錄當前的 LSN（Log Sequence Number，日志序列號），這是數據庫在該時間點的快照。

復制數據文件：

XtraBackup 開始復制 InnoDB 數據文件。由于數據文件在備份期間可能發生更改，因此它們可能會反映不同時間點的數據狀態。

復制重做日志：

XtraBackup 在后臺運行一個進程，監視并復制重做日志中的更改。這是為了確保所有從備份開始到結束的更改都被捕捉到。
重做日志以循環方式寫入，當日志空間用完時會重用，因此 XtraBackup 需要持續監視日志，以防遺漏任何更改。

3. 恢復過程

應用重做日志：

備份完成后，XtraBackup 會執行“準備”階段，即將重做日志中的所有更改應用到數據文件。這一步類似于 InnoDB 的崩潰恢復過程。
通過應用重做日志，確保數據文件在恢復時的一致性和完整性。

4. 使用備份鎖

備份鎖：

XtraBackup 利用 MySQL 8.0 中引入的備份鎖 LOCK INSTANCE FOR BACKUP 和LOCK BINLOG FOR BACKUP，這些鎖在備份過程中可以避免長時間的表鎖定。
當備份鎖不可用時，XtraBackup 使用 FLUSH TABLES WITH READ LOCK 鎖定 MyISAM 和其他非 InnoDB 表，但只在最后階段短時間內進行鎖定，以避免對 DML 操作的影響。

5. 增量備份

增量備份：

增量備份基于上一次備份的 LSN，僅備份從那時起發生的更改。這樣可以減少備份時間和存儲空間。
增量備份完成后，可以與基礎備份和之前的增量備份合并，通過應用重做日志來恢復完整數據。

6. 具體步驟

1）記錄 LSN：啟動備份時記錄當前 LSN。

2）復制數據文件：開始復制數據文件。

3）復制重做日志：持續監視和復制重做日志中的更改。

4）結束時的操作：

如果需要鎖定 MyISAM 表，XtraBackup 會在最后階段短時間內鎖定這些表，避免長時間阻塞。
備份完成后，XtraBackup 將重做日志中的更改應用到數據文件，確保數據一致性。

7. 恢復

1）恢復數據文件：使用--copy-back 或--move-back 選項將備份數據恢復到目標目錄。

2）應用重做日志：在準備階段，XtraBackup 將重做日志中的所有更改應用到數據文件，確保數據庫的一致性。

3）啟動數據庫：恢復完成后，可以啟動數據庫并正常使用。

優點

無停機備份：支持在線備份，無需停止數據庫服務。
高性能：備份過程中對數據庫性能影響最小。
增量備份：支持增量備份，減少存儲空間和備份時間。
數據一致性：保證備份期間數據的一致性。
恢復靈活：支持部分恢復和時間點恢復。
速度快：恢復時間更快，正常運行時間更長。
資源限制：控制IO、線程、內存等資源限制。

缺點

學習曲線：對于新手來說，配置和使用可能需要一定的學習時間。
復雜環境支持：在某些復雜環境中（如多源復制或非常大的數據庫），配置和使用可能較為復雜。
硬件需求：增量備份和還原可能需要更多的硬件資源（如磁盤和內存）。

版本限制

XtraBackup 2.4：適用于 MySQL 5.6 和 5.7 及相應版本的 Percona Server 和 MariaDB。
XtraBackup 8.0：適用于 MySQL 8.0 及相應版本的 Percona Server。
XtraBackup 8.3：主要用于 MySQL 8.3及相應版本的 Percona Server。

使用場景

高可用環境：需要在不影響數據庫運行的情況下進行備份。
大型數據庫：適合處理大型數據庫的備份需求。
數據恢復：提供可靠的數據恢復解決方案，包括部分恢復和時間點恢復。
增量備份需求：需要定期進行增量備份以節省存儲空間和備份時間。

安裝步驟

Percona-XtraBackup-8.3.0

1、下載rpm包

wget

https://downloads.percona.com/downloads/Percona-XtraBackup-innovative-release/Percona-XtraBackup-8.3.0-1/binary/redhat/7/x86_64/percona-xtrabackup-83-8.3.0-1.1.el7.x86_64.rpm

2、安裝

Shell > yum install epel-release
Shell > yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm sudo 
Shell > percona-release setup ps80
Shell > yum install openssl-libs libev libgcrypt procps-ng perl-DBD-MySQL zstd
Shell > rpm -ivh percona-xtrabackup-83-8.3.0-1.1.el8.x86_64.rpm

Percona-XtraBackup-8.0.35

Shell > yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm 
Shell > percona-release enable-only tools 
Shell > yum install openssl-libs libev libgcrypt procps-ng perl-DBD-MySQL zstd 
Shell > yum install percona-xtrabackup-80

賬戶授權

CREATE USER 'xtrabackup'@'localhost' IDENTIFIED BY 's3cr%T';
GRANT BACKUP_ADMIN, PROCESS, RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'xtrabackup'@'localhost';
GRANT SELECT ON performance_schema.log_status TO 'xtrabackup'@'localhost';
GRANT SELECT ON performance_schema.keyring_component_status TO xtrabackup@'localhost';
GRANT SELECT ON performance_schema.replication_group_members TO xtrabackup@'localhost';
FLUSH PRIVILEGES;

備份示例

流式全量備份

流式全量備份到遠程主機，不在本機落盤

xtrabackup --defaults-file=/etc/my.cnf --port=3306 --user=xtrabackup --host=10.20.20.20 --password='*****sel'  --compress --compress-threads=4 --parallel=4 --throttle=300  --stream=xbstream --use-memory=200MB --tmpdir=/tmp --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check  --backup > /jesong/xtrabackup/backup-image_`date +"%F_%H_%M_%S"`

流式全量備份到遠程主機，不在本機落盤

xtrabackup --defaults-file=/etc/my.cnf --port=3306 --user=xtrabackup --host=10.20.20.20 --password='*****sel' --compress --compress-threads=4 --parallel=4 --throttle=300 --stream=xbstream --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup > /jesong/xtrabackup/backup-image_`date +"%F_%H_%M_%S"` | sshpass -p 'Tisdfsdfsdfdsfdsfds' ssh -p 22 root@10.20.20.20 "cat - > /jesong/backup.xbstream"

鏡像抽取

xbstream -x < /jesong/xtrabackup/backup-image -C /jesong/xtrabackup/xbstream-dir/

解壓

xtrabackup --decompress --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/xbstream-dir/

應用日志：

xtrabackup --prepare --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/xbstream-dir/

恢復

xtrabackup --copy-back --target-dir=/jesong/xtrabackup/xbstream-dir/

壓縮全量備份

全量備份本地壓縮

xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --compress --compress-threads=4 --parallel=4 --throttle=300 --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --target-dir=/jesong/xtrabackup/backup-image_`date +"%F_%H_%M_%S"`

解壓

xtrabackup --decompress --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/backup-image_2024-05-30_17_56_25/

應用日志

xtrabackup --prepare --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/backup-image_2024-05-30_17_56_25/

恢復

xtrabackup --copy-back --target-dir=/jesong/xtrabackup/xbstream-dir/

增量備份

流式全量備份

xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --compress --compress-threads=4 --parallel=4 --throttle=300 --stream=xbstream --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --extra-lsndir=/jesong/xtrabackup/full > /jesong/xtrabackup/full/backup-image

增量

1xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --compress --compress-threads=4 --parallel=4 --throttle=300 --stream=xbstream --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --extra-lsndir=/jesong/xtrabackup/incremental_1 --incremental-basedir=/jesong/xtrabackup/full > /jesong/xtrabackup/incremental_1/backup-image

增量

2xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --compress --compress-threads=4 --parallel=4 --throttle=300 --stream=xbstream --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --extra-lsndir=/jesong/xtrabackup/incremental_2 --incremental-basedir=/jesong/xtrabackup/incremental_1 > /jesong/xtrabackup/incremental_2/backup-image

鏡像抽取全量

xbstream -x < /jesong/xtrabackup/full/backup-image -C /jesong/xtrabackup/xbstream-dir/

增量

1xbstream -x < /jesong/xtrabackup/incremental_1/backup-image -C /jesong/xtrabackup/incremental_1_work

增量

2xbstream -x < /jesong/xtrabackup/incremental_2/backup-image -C /jesong/xtrabackup/incremental_2_work

解壓

全量

xtrabackup --decompress --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/xbstream-dir/

增量

1xtrabackup --decompress --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/incremental_1_work

增量

2xtrabackup --decompress --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/incremental_2_work

應用日志：--apply-log-only在合并增量備份時應使用，但最后一個備份除外。

全量

xtrabackup --prepare --apply-log-only --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/xbstream-dir/

增量

1xtrabackup --prepare --apply-log-only --parallel=4 --use-memory=200MB --incremental-dir=/jesong/xtrabackup/incremental_1_work --target-dir=/jesong/xtrabackup/xbstream-dir/

增量

2xtrabackup --prepare --parallel=4 --use-memory=200MB --incremental-dir=/jesong/xtrabackup/incremental_2_work --target-dir=/jesong/xtrabackup/xbstream-dir/

恢復

xtrabackup --copy-back --target-dir=/jesong/xtrabackup/xbstream-dir/

為什么最后一步不使用--apply-log-only

執行回滾：在應用最后一個增量備份時不使用--apply-log-only，這樣會執行回滾操作，將未提交的事務回滾，使得備份數據變得一致。
備份一致性：即使在最后一步使用了--apply-log-only，備份仍然是一致的，但在恢復后數據庫服務器會在啟動時執行回滾操作。這可能會增加恢復時間，因此推薦在備份準備階段完成回滾。

部分備份

指定表或以什么開頭都會備份

xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --parallel=4 --throttle=300 --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --datadir=/jesong/mysql --target-dir=/jesong/xtrabackup/test --tables="^tolldb[.]tc_deduction_plan"

庫里的表

xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --parallel=4 --throttle=300 --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --datadir=/jesong/mysql --target-dir=/jesong/xtrabackup/test --tables="^tolldb[.].*"

文件方式導入

echo "mydatabase.mytable" > /tmp/tables.txt
xtrabackup --defaults-file=/etc/my.cnf --slave-info --port=3306 --user=xtrabackup --host=196.168.10.10 --password='*******' --parallel=4 --throttle=300 --use-memory=200MB --ftwrl-wait-timeout=120 --kill-long-queries-timeout=60 --kill-long-query-type=all --no-server-version-check --backup --datadir=/jesong/mysql --target-dir=/jesong/xtrabackup/test --tables-file=/tmp/tables.txt

應用日志

xtrabackup --prepare --export --parallel=4 --use-memory=200MB --target-dir=/jesong/xtrabackup/test

恢復方案一：需要清空數據目錄

xtrabackup --copy-back --target-dir=/jesong/xtrabackup/test

恢復方案二：拷貝數據文件

要從備份中恢復分區，必須丟棄表空間的該表：

ALTER TABLE name_p4 DISCARD TABLESPACE;

下一步是將文件從備份復制到MySQL數據目錄：.ibd

cp /mnt/backup/2012-08-28_10-29-09/imdb/name#P#p4.ibd /var/lib/mysql/imdb/name_p4.ibd

最后一步是導入表空間：

ALTER TABLE name_p4 IMPORT TABLESPACE;

總結

Percona XtraBackup 8 是一個強大的備份工具，適用于需要高可用性和數據一致性的 MySQL 數據庫環境。它的主要優點包括無停機備份、高性能、增量備份和靈活的恢復選項。盡管有一定的學習曲線，但其開源免費、可靠性高的特性使其成為大型數據庫備份的理想選擇。通過合理配置和使用相關參數，可以實現高效的全量和增量備份，確保數據的安全性和可恢復性。

作者介紹

吳守陽，51CTO社區編輯，擁有8年DBA工作經驗，熟練管理MySQL、Redis、MongoDB等開源數據庫。精通性能優化、備份恢復和高可用性架構設計。善于故障排除和自動化運維，保障系統穩定可靠。具備良好的團隊合作和溝通能力，致力于為企業提供高效可靠的數據庫解決方案。

責任編輯：華軒來源： 51CTO

開源 MySQL