精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

Clickhouse備份與恢復+異機遠程備份腳本

數據庫 其他數據庫
Clickhouse 的數據備份有多種方式,其官方網站上就提供了多種備份方式可以參考,但是不同公司有不同的可用資源和業務需求,因此不存在一個通用的解決方案可以應對各種情況下的ClickHouse備份和恢復。

[[422996]]

Clickhouse 的數據備份有多種方式,其官方網站上就提供了多種備份方式可以參考,但是不同公司有不同的可用資源和業務需求,因此不存在一個通用的解決方案可以應對各種情況下的ClickHouse備份和恢復。 適用于 1GB 數據的方案可能并不適用于幾十 PB 數據的情況。 有多種具備各自優缺點的可能方法,將在下面對其進行討論。最好使用幾種方法而不是僅僅使用一種方法來彌補它們的各種缺點。

背景:

某項目clickhouse 數據庫遷移,數據量大約9億條單表,版本為clickhouse20,遷移前我先在本地做了一些列的備份測試,下面我把我在生產中選用的備份方法和遇到的種種小插曲和大家分享下

實驗環境:

官網下載的demo數據,大約有8G的測試數據

clickhouse 20.4.6

一、 文本文件導入導出

#說白了就是手動的把數據庫里的數據導出成特定的格式,再導入;這種方式!!不推薦!!!!除非你的數據庫真的很少,我當時從官網下載了一個demo 數據,手動導入導出,差點把我累死

導出:

  1. clickhouse-client --password helloword --query="select * from iot_dev.t_indicator_record FORMAT CSV" > iot_dev.t_indicator_record.csv 

導入: 注意FORMAT后面大寫

  1. cat iot_dev.t_indicator_record.csv | clickhouse-client --port 9008 --password helloword --query="INSERT INTO iot_dev.t_indicator_record FORMAT CSV" 

二、 拷貝數據目錄

#此方案和mysql 的冷數據恢復是一個方案,直接拷貝走clickhouse 的數據到另一臺機器上,修改下相關配置就可以直接啟動了,仔細的觀察一下 ClickHouse 在文件系統上的目錄結構(配置文件

/ect/clickhouse-server/config.xml 里面配置的 ),為了便于查看,只保留了 data 和 metadata 目錄。

  1. ├── data 
  2. │   ├── default 
  3. │   ├── system 
  4. │   │   ├── asynchronous_metric_log 
  5. │   │   ├── metric_log 
  6. │   │   ├── query_log 
  7. │   │   ├── query_thread_log 
  8. │   │   └── trace_log 
  9. ├── metadata 
  10. │   ├── default 
  11. │   │   └── v_table_size.sql 
  12. │   ├── default.sql 
  13. │   ├── system 
  14. │   │   ├── asynchronous_metric_log.sql 
  15. │   │   ├── metric_log.sql 
  16. │   │   ├── query_log.sql 
  17. │   │   ├── query_thread_log.sql 
  18. │   │   └── trace_log.sql 
Clickhouse備份與恢復+異機遠程備份腳本
  1. data 目錄里保存的是數據,每個數據庫一個目錄,內部每個表一個子目錄。 
  2. metadata 目錄里保存的是元數據,即數據庫和表結構。其中 
  3.         <database>.sql 是 創建數據庫的 DDL(ATTACH DATABASE default ENGINE = Ordinary) 
  4.         <database>/<table>.sql 是建表的 DDL (ATTACH TABLE ...) 

基于這個信息,直接把data和metadata目錄(要排除 system 庫)復制到新集群,即可實現數據遷移

實操步驟:

  1. 1、停止原先的clickhouse數據庫,并打包好 對應數據庫或表的 data 和 metadata 數據 
  2. 2、拷貝到目標clickhouse數據庫對應的目錄,比如/var/lib/clickhouse 目錄下 
  3. 3、給clickhouse 賦予權限, chown -Rf clickhouse:clickhouse /var/lib/clickhouse/* 
  4.                                                       chown -Rf clickhouse:clickhouse /var/lib/clickhouse 
  5. 4、重啟目標clickhouse數據庫 
  6. 5、驗證數據 
  7.         select count(1) form iot_dev.t_indicator_record; 

三、 使用第三方工具,clickhouse-backup

此方案,是我在測試的過程中使用最方便的備份與恢復工具,因此我會詳細的說下此工具的使用方法及需要注意的地方。

clickhouse-backup 是社區開源的一個 ClickHouse 備份工具,可用于實現數據遷移。其原理是先創建一個備份,然后從備份導入數據,類似 MySQL 的 mysqldump + SOURCE。這個工具可以作為常規的異地冷備方案

# 使用限制:

  • 支持1.1.54390以上的ClickHouse
  • 僅MergeTree系列表引擎
  • 不支持備份Tiered storage或storage_policy
  • 云存儲上的最大備份大小為5TB
  • AWS S3上的parts數最大為10,000

(1)、下載clickhouse-backup 軟件包

官方提供了二進制版本和rpm包的方式,我這里采用了二進制安裝

  1. github地址: https://github.com/AlexAkulov/clickhouse-backup 
  2.  
  3. 下載地址: https://github.com/AlexAkulov/clickhouse-backup/releases/download/v1.0.0/clickhouse-backup.tar.gz 
  1. #解壓軟件包 
  2. tar -xf clickhouse-backup.tar.gz -C /root 
  3.  
  4. #復制二進制文件到系統中 
  5. cp /root/clickhouse-backup /usr/bin 
  6.  
  7. #創建clickhouse-backup 配置文件目錄 
  8. mkdir -p /etc/clickhouse-backup 
  9.  
  10. #拷貝模板配置文件到clickhouse-backup 配置文件目錄下 
  11. cp /root/config.yml /etc/clickhouse-backup/ 

(2)、修改clickhouse-backup 配置文件config.yml

# 根據clickhouse自身的配置來修改 此配置文件,比如 clickhouse的數據目錄,數據庫密碼,監控地址及端口

官方的配置說明:

clickhouse-backup 除了備份到本機,此外還支持遠程備份的方式,備份到s3 上【對象存儲】,ftp,sftp 上,還支持 使用 api 接口 訪問

  1. general: 
  2.   remote_storage: none           # REMOTE_STORAGE,遠程備份的方式,對應下面的【azblo,s3,gcs,api,ftp,sftp】 
  3.   max_file_size: 107374182400    # MAX_FILE_SIZE 
  4.   disable_progress_bar: false    # DISABLE_PROGRESS_BAR 
  5.   backups_to_keep_local: 0       # BACKUPS_TO_KEEP_LOCAL, 本地備份保留個數 ,0為不限制 
  6.   backups_to_keep_remote: 0      # BACKUPS_TO_KEEP_REMOTE,遠程的備份保留個數,0為不限制 
  7.   log_level: info                # LOG_LEVEL,日志等級 
  8.   allow_empty_backups: false     # ALLOW_EMPTY_BACKUPS 
  9. clickhouse: 
  10.   username: default                # CLICKHOUSE_USERNAME,數據庫用戶名,默認 
  11.   password""                     # CLICKHOUSE_PASSWORD,數據庫密碼 
  12.   host: localhost                  # CLICKHOUSE_HOST,數據庫實例地址 
  13.   port: 9000                       # CLICKHOUSE_PORT,數據庫連接端口 
  14.   disk_mapping: {}                 # CLICKHOUSE_DISK_MAPPING 
  15.   skip_tables:                     # CLICKHOUSE_SKIP_TABLES ,備份時,需要忽略的庫表 
  16.     - system.* 
  17.   timeout: 5m                      # CLICKHOUSE_TIMEOUT 
  18.   freeze_by_part: false            # CLICKHOUSE_FREEZE_BY_PART 
  19.   secure: false                    # CLICKHOUSE_SECURE 
  20.   skip_verify: false               # CLICKHOUSE_SKIP_VERIFY 
  21.   sync_replicated_tables: true     # CLICKHOUSE_SYNC_REPLICATED_TABLES 
  22.   log_sql_queries: true            # CLICKHOUSE_LOG_SQL_QUERIES 
  23.  
  24.   config_dir:      "/etc/clickhouse-server"              # CLICKHOUSE_CONFIG_DIR 
  25.   restart_command: "systemctl restart clickhouse-server" # CLICKHOUSE_RESTART_COMMAND 
  26.  
  27. azblob: 
  28.   endpoint_suffix: "core.windows.net" # AZBLOB_ENDPOINT_SUFFIX 
  29.   account_name: ""             # AZBLOB_ACCOUNT_NAME 
  30.   account_key: ""              # AZBLOB_ACCOUNT_KEY 
  31.   sas: ""                      # AZBLOB_SAS 
  32.   container: ""                # AZBLOB_CONTAINER 
  33.   path: ""                     # AZBLOB_PATH 
  34.   compression_level: 1         # AZBLOB_COMPRESSION_LEVEL 
  35.   compression_format: tar      # AZBLOB_COMPRESSION_FORMAT 
  36.   sse_key: ""                  # AZBLOB_SSE_KEY 
  37. s3: 
  38.   access_key: ""                   # S3_ACCESS_KEY,<AWS訪問密鑰> 
  39.   secret_key: ""                   # S3_SECRET_KEY 
  40.   bucket: ""                       # S3_BUCKET,<存儲桶BUCKET名稱> 
  41.   endpoint: ""                     # S3_ENDPOINT 
  42.   region: us-east-1                # S3_REGION 
  43.   acl: private                     # S3_ACL 
  44.   force_path_style: false          # S3_FORCE_PATH_STYLE 
  45.   path: ""                         # S3_PATH , <備份路徑> 
  46.   disable_ssl: false               # S3_DISABLE_SSL 
  47.   compression_level: 1             # S3_COMPRESSION_LEVEL 
  48.   # supports 'tar''gzip''zstd''brotli' 
  49.   compression_format: tar          # S3_COMPRESSION_FORMAT 
  50.   # empty (default), AES256, or aws:kms 
  51.   sse: AES256                      # S3_SSE 
  52.   disable_cert_verification: false # S3_DISABLE_CERT_VERIFICATION 
  53.   storage_class: STANDARD          # S3_STORAGE_CLASS 
  54.   debug: false                     # S3_DEBUG 
  55. gcs: 
  56.   credentials_file: ""         # GCS_CREDENTIALS_FILE 
  57.   credentials_json: ""         # GCS_CREDENTIALS_JSON 
  58.   bucket: ""                   # GCS_BUCKET 
  59.   path: ""                     # GCS_PATH 
  60.   compression_level: 1         # GCS_COMPRESSION_LEVEL 
  61.   compression_format: tar      # GCS_COMPRESSION_FORMAT 
  62. cos: 
  63.   url: ""                      # COS_URL 
  64.   timeout: 2m                  # COS_TIMEOUT 
  65.   secret_id: ""                # COS_SECRET_ID 
  66.   secret_key: ""               # COS_SECRET_KEY 
  67.   path: ""                     # COS_PATH 
  68.   compression_format: tar      # COS_COMPRESSION_FORMAT 
  69.   compression_level: 1         # COS_COMPRESSION_LEVEL 
  70. api: 
  71.   listen: "localhost:7171"     # API_LISTEN 
  72.   enable_metrics: true         # API_ENABLE_METRICS 
  73.   enable_pprof: false          # API_ENABLE_PPROF 
  74.   username: ""                 # API_USERNAME 
  75.   password""                 # API_PASSWORD 
  76.   secure: false                # API_SECURE 
  77.   certificate_file: ""         # API_CERTIFICATE_FILE 
  78.   private_key_file: ""         # API_PRIVATE_KEY_FILE 
  79.   create_integration_tables: false # API_CREATE_INTEGRATION_TABLES 
  80. ftp: 
  81.   address: ""                  # FTP_ADDRESS 
  82.   timeout: 2m                  # FTP_TIMEOUT 
  83.   username: ""                 # FTP_USERNAME 
  84.   password""                 # FTP_PASSWORD 
  85.   tls: false                   # FTP_TLS 
  86.   path: ""                     # FTP_PATH 
  87.   compression_format: tar      # FTP_COMPRESSION_FORMAT 
  88.   compression_level: 1         # FTP_COMPRESSION_LEVEL 
  89.   debug: false                 # FTP_DEBUG 
  90. sftp: 
  91.   address: ""                  # SFTP_ADDRESS 
  92.   username: ""                 # SFTP_USERNAME 
  93.   password""                 # SFTP_PASSWORD 
  94.   key""                      # SFTP_KEY 
  95.   path: ""                     # SFTP_PATH 
  96.   compression_format: tar      # SFTP_COMPRESSION_FORMAT 
  97.   compression_level: 1         # SFTP_COMPRESSION_LEVEL 

 我本次使用的配置文件,就是最簡單的配置,直接本地備份,然后通過執行腳本的方式去推送備份文件到備份主機上

  1. [root@localhost clickhouse-backup]# cat config.yml  
  2.  
  3. general: 
  4.   max_file_size: 1099511627776 
  5.   disable_progress_bar: false 
  6.   backups_to_keep_local: 0 
  7.   backups_to_keep_remote: 0 
  8.   log_level: info 
  9.   allow_empty_backups: false 
  10. clickhouse: 
  11.   username: default 
  12.   password"" 
  13.   host: localhost 
  14.   port: 9000 
  15.   disk_mapping: {} 
  16.   skip_tables: 
  17.   - system.* 
  18.   - default.* 
  19.   timeout: 5m 
  20.   freeze_by_part: false 
  21.   secure: false 
  22.   skip_verify: false 
  23.   sync_replicated_tables: true 
  24.   skip_sync_replica_timeouts: true 
  25.   log_sql_queries: false 

 (3)、查看clickhouse-backup 相關命令

  1. NAME
  2.    clickhouse-backup - Tool for easy backup of ClickHouse with cloud support 
  3.  
  4. USAGE: 
  5.    clickhouse-backup <command> [-t, --tables=<db>.<table>] <backup_name> 
  6.  
  7. VERSION: 
  8.    1.0.0 
  9.  
  10. DESCRIPTION: 
  11.    Run as 'root' or 'clickhouse' user 
  12.  
  13. COMMANDS: 
  14.    tables          Print list of tables 
  15.    create          Create new backup 
  16.    create_remote   Create and upload 
  17.    upload          Upload backup to remote storage 
  18.    list            Print list of backups 
  19.    download        Download backup from remote storage 
  20.    restore         Create schema and restore data from backup 
  21.    restore_remote  Download and restore 
  22.    delete          Delete specific backup 
  23.    default-config  Print default config 
  24.    server          Run API server 
  25.    help, h         Shows a list of commands or help for one command 
  26.  
  27. GLOBAL OPTIONS: 
  28.    --config FILE, -c FILE  Config FILE name. (default: "/etc/clickhouse-backup/config.yml") [$CLICKHOUSE_BACKUP_CONFIG] 
  29.    --help, -h              show help 
  30.    --version, -v           print the version 

1、 查看全部默認的配置項

  1. clickhouse-backup default-config 

2、 查看可備份的表【已在配置文件中過濾掉system和default 庫下面的所有表】

  1. [root@localhost clickhouse-backup]# clickhouse-backup tablesbrdatasets.hits_v1  1.50GiB  default  

3、 創建備份

#全庫備份

  1. clickhouse-backup create 
  2. 2021/09/06 10:03:23  info done                      backup=2021-09-06T14-03-23 operation=create table=datasets.hits_v1 
  3. 2021/09/06 10:03:23  info done                      backup=2021-09-06T14-03-23 operation=create 

備份存儲在中 $data_path/backup 下,備份名稱默認為時間戳,可手動指定備份名稱

  1. clickhouse-backup create fxkjnj_0906 

備份包含兩個目錄:

  • metadata目錄: 包含重新創建所需的DDL SQL
  • shadow目錄: 包含作為ALTER TABLE ... FREEZE操作結果的數據
  1. [root@localhost backup]# ll /var/lib/clickhouse/backup/2021-09-06T14-03-23/ 
  2. total 4 
  3. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:03 metadata 
  4. -rw-r----- 1 clickhouse clickhouse 865 Sep  6 10:03 metadata.json 
  5. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:03 shadow 

 #單表備份

  1. clickhouse-backup create [-t, --tables=<db>.<table>] <backup_name> 

備份表datasets.hits_v1

  1. clickhouse-backup create  -t datasets.hits_v1 

備份多個表datasets.hits_v1, datasets.hits_v2

  1. clickhouse-backup create  -t datasets.hits_v1,datasets.hits_v2 

4、查看備份記錄

  1. [root@localhost datasets]# clickhouse-backup list 
  2. 2021-09-06T14-03-23   1.50GiB   06/09/2021 14:03:23   local       
  3. 2021/09/06 10:10:50 error InvalidParameter: 1 validation error(s) found. 
  4. - minimum field size of 1, ListObjectsV2Input.Bucket. 

 5、刪除備份文件

  1. [root@localhost datasets]# clickhouse-backup delete local 2021-09-06T14-03-23 

(4)、數據恢復

語法:

clickhouse-backup restore 備份名

  1. [root@localhost shadow]# clickhouse-backup restore --help 
  2. NAME
  3.    clickhouse-backup restore - Create schema and restore data from backup 
  4.  
  5. USAGE: 
  6.    clickhouse-backup restore  [-t, --tables=<db>.<table>] [-s, --schema] [-d, --data] [--rm, --drop] <backup_name> 
  7.  
  8. OPTIONS: 
  9.    --config FILE, -c FILE                   Config FILE name. (default: "/etc/clickhouse-backup/config.yml") [$CLICKHOUSE_BACKUP_CONFIG] 
  10.    --table value, --tables value, -t value   
  11.    --schema, -s                             Restore schema only 
  12.    --data, -d                               Restore data only 
  13.    --rm, --drop                             Drop table before restore 

參數:

  • --table 只恢復特定表,可使用正則。如針對特定的數據庫:--table=dbname.*
  • --schema 只還原表結構
  • --data 只還原數據
  • --rm 數據恢復之前,先刪除需要恢復的表

四、使用clickhouse-backup備份與恢復數據-實戰

4.1 、本機備份與恢復

1、備份前,先查看數據庫里的數據量,一共是17747796條數據

  1. 1、備份前,先查看數據庫里的數據量,一共是17747796條數據 
  2. [root@localhost ~]# clickhouse-client 
  3. ClickHouse client version 20.4.6.53 (official build). 
  4. Connecting to localhost:9000 as user default
  5. Connected to ClickHouse server version 20.4.6 revision 54434. 
  6. localhost :)  
  7. localhost :) select count(1) from datasets.hits_v1; 
  8.  
  9. SELECT count(1) 
  10. FROM datasets.hits_v1 
  11.  
  12. ┌─count(1)─┐ 
  13. │ 17747796 │ 
  14. └──────────┘ 
  15.  
  16. rows in set. Elapsed: 0.016 sec.  
  17.  
  18. localhost :) exit 
  19.  
  20.  
  21.  
  22. 2、創建clickhouse-backup配置文件,本地備份文件最多保留7個 
  23.  
  24. [root@localhost ~]# vim /etc/clickhouse-backup/config.yml  
  25. general: 
  26.   max_file_size: 1099511627776 
  27.   disable_progress_bar: false 
  28.   backups_to_keep_local: 7 
  29.   log_level: info 
  30.   allow_empty_backups: false 
  31. clickhouse: 
  32.   username: default 
  33.   password"helloword" 
  34.   host: localhost 
  35.   port: 9000 
  36.   disk_mapping: {} 
  37.   skip_tables: 
  38.   - system.* 
  39.   - default.* 
  40.   timeout: 5m 
  41.   freeze_by_part: false 
  42.   secure: false 
  43.   skip_verify: false 
  44.   sync_replicated_tables: true 
  45.   skip_sync_replica_timeouts: true 
  46.   log_sql_queries: false 
  47.  
  48.  
  49. 3、查看可備份的表 
  50. [root@localhost backup]# clickhouse-backup tables 
  51. datasets.hits_v1  1.50GiB  default   
  52.  
  53.  
  54. 4、使用clickhouse-backup 做個備份 
  55. [root@localhost clickhouse]# clickhouse-backup create 
  56. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create table=datasets.hits_v1 
  57. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create 
  58.  
  59.  
  60.  
  61. 5、模擬進行數據破壞,!!!生產環境勿用!!!此處為測試 
  62. [root@localhost clickhouse]# clickhouse-client  
  63. ClickHouse client version 20.4.6.53 (official build). 
  64. Connecting to localhost:9000 as user default
  65. Connected to ClickHouse server version 20.4.6 revision 54434. 
  66.  
  67. localhost :) drop database datasets; 
  68. DROP DATABASE datasets 
  69. Ok. 
  70. rows in set. Elapsed: 0.002 sec.  
  71.  
  72. SHOW DATABASES 
  73. ┌─name───────────────────────────┐ 
  74. │ _temporary_and_external_tables │ 
  75. │ default                        │ 
  76. │ system   
  77. │ test 
  78. └────────────────────────────────┘ 
  79. rows in set. Elapsed: 0.002 sec.  
  80.  
  81.  
  82.  
  83.  
  84. 6、恢復數據庫 
  85. [root@localhost backup]# clickhouse-backup restore 2021-09-06T14-50-42 -s -d --rm 
  86. 2021/09/06 10:57:04  info done                      backup=2021-09-06T14-50-42 operation=restore table=datasets.hits_v1 
  87. 2021/09/06 10:57:04  info done                      backup=2021-09-06T14-50-42 operation=restore 
  88.  
  89.  
  90. 7、驗證數據庫,查看數據是否復原,數據量是否匹配 
  91.  
  92. [root@localhost backup]# clickhouse-client  
  93. ClickHouse client version 20.4.6.53 (official build). 
  94. Connecting to localhost:9000 as user default
  95. Connected to ClickHouse server version 20.4.6 revision 54434. 
  96.  
  97. localhost :) show databases; 
  98.  
  99. SHOW DATABASES 
  100. ┌─name───────────────────────────┐ 
  101. │ _temporary_and_external_tables │ 
  102. │ datasets                       │ 
  103. │ default                        │ 
  104. │ system                         │ 
  105. │ test                           │ 
  106. └────────────────────────────────┘ 
  107. rows in set. Elapsed: 0.002 sec.  
  108.  
  109. localhost :) select count(1) from datasets.hits_v1; 
  110.  
  111. SELECT count(1) 
  112. FROM datasets.hits_v1 
  113.  
  114. ┌─count(1)─┐ 
  115. │ 17747796 │ 
  116. └──────────┘ 
  117.  
  118. rows in set. Elapsed: 0.020 sec.  
  119.  
  120. localhost :)  

4.2、異機遠程備份與恢復

所謂異機遠程備份,就是指將備份好的文件,同步傳輸到遠程 專業的存儲服務器,往往這些存儲服務器都是大存儲,可以備份存儲1年甚至幾年的數據庫備份都沒問題

環境:

clickhouse 數據庫 192.168.99.102

存儲服務器 192.168.99.101

  1. 1、備份前,先查看數據庫里的數據量,一共是17747796條數據 
  2. [root@localhost ~]# clickhouse-client 
  3. ClickHouse client version 20.4.6.53 (official build). 
  4. Connecting to localhost:9000 as user default
  5. Connected to ClickHouse server version 20.4.6 revision 54434. 
  6. localhost :)  
  7. localhost :) select count(1) from datasets.hits_v1; 
  8.  
  9. SELECT count(1) 
  10. FROM datasets.hits_v1 
  11.  
  12. ┌─count(1)─┐ 
  13. │ 17747796 │ 
  14. └──────────┘ 
  15.  
  16. rows in set. Elapsed: 0.016 sec.  
  17.  
  18. localhost :) exit 
  19.  
  20.  
  21.  
  22. 2、創建clickhouse-backup配置文件,本地備份文件最多保留7個 
  23.  
  24. [root@localhost ~]# vim /etc/clickhouse-backup/config.yml  
  25. general: 
  26.   max_file_size: 1099511627776 
  27.   disable_progress_bar: false 
  28.   backups_to_keep_local: 7 
  29.   log_level: info 
  30.   allow_empty_backups: false 
  31. clickhouse: 
  32.   username: default 
  33.   password"helloword" 
  34.   host: localhost 
  35.   port: 9000 
  36.   disk_mapping: {} 
  37.   skip_tables: 
  38.   - system.* 
  39.   - default.* 
  40.   timeout: 5m 
  41.   freeze_by_part: false 
  42.   secure: false 
  43.   skip_verify: false 
  44.   sync_replicated_tables: true 
  45.   skip_sync_replica_timeouts: true 
  46.   log_sql_queries: false 
  47.  
  48.  
  49. 3、查看可備份的表 
  50. [root@localhost backup]# clickhouse-backup tables 
  51. datasets.hits_v1  1.50GiB  default   
  52.  
  53.  
  54. 4、使用clickhouse-backup 做個備份 
  55. [root@localhost clickhouse]# clickhouse-backup create 
  56. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create table=datasets.hits_v1 
  57. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create 
  58.  
  59.  
  60.  
  61. 5、使用SCP 將備份文件,傳輸到存儲服務器上 
  62. [root@localhost clickhouse]#  scp -rp /var/lib/clickhouse/backup/2021-09-06T14-50-42 fxkjnj@192.168.99.101:/data/clickhouse-backup/ 
  63.  
  64. 6、登錄到存儲服務器 ,查看備份數據是否存在 
  65. [root@localhost clickhouse]# ll /data/clickhouse-backup/2021-09-06T14-50-42 
  66. total 4 
  67. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:50 metadata 
  68. -rw-r----- 1 clickhouse clickhouse 865 Sep  6 10:50 metadata.json 
  69. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:50 shadow 

五、使用腳本定期異機遠程備份

環境: clickhouse 數據庫 192.168.99.102 存儲服務器 192.168.99.101

條件:

  • 存儲服務器 建立備份目錄,/data/clickhouse-back
  • clickhouse 數據庫 可以免密到 存儲服務器 上,免密傳輸備份文件
  1. vim  /var/lib/clickhouse/clickhouse-backup.sh 
  2. #!/bin/bash 
  3. #Author        fxkjnj.com 
  4. #################################################### 
  5. ## 
  6. ##      clickhouse-back script 
  7. ##      backup data at remote host 
  8. ##      you should config ssh trust 
  9. ##  
  10. #################################################### 
  11.  
  12.  
  13.  
  14. MSNAME=yz 
  15. BAKFILE=$MSNAME-`date +%Y%m%d%H%M%S` 
  16. LOCAL_BAKDIR=/var/lib/clickhouse/backup 
  17.  
  18. REMOTE_BAKDIR=/data/clickhouse-back 
  19. REMOTE_HOST=root@192.168.99.101 
  20.  
  21.  
  22.  
  23. #備份到本地 
  24. /usr/bin/clickhouse-backup create $BAKFILE 
  25. if [[ $? != 0 ]]; then 
  26.     echo "clickhouse-backup Create FAILED" > /var/log/clickhouse-backup.log 
  27.     exit 
  28. else 
  29. #SCP備份到遠程主機 
  30. scp -rp $LOCAL_BAKDIR/$BAKFILE $REMOTE_HOST:$REMOTE_BAKDIR/ 
  31.     if [[ $? != 0 ]]; then 
  32.         echo "clickhouse-backup FAILED" > /var/log/clickhouse-backup.log 
  33.     else 
  34.         echo "clickhouse-backup successful" > /var/log/clickhouse-backup.log 
  35.     fi 
  36. fi 
  37.  
  38.  
  39. #定期刪除遠程備份文件 
  40. ssh $REMOTE_HOST  "find $REMOTE_BAKDIR/yz* -maxdepth 0 -mtime +30 -type d | xargs rm -rf {}" 

六、常見問題

1、問題現象:使用clickhouse-backup 恢復數據時,提示UUID 問題

  1. clickhouse-backup restore 2021-08-21T06-35-10 -s -d --rm 
  2. 2021/08/21 14:40:51 error can't create table `default`.`t`: code: 57, message:  
  3. Directory for table data store/c57/c5780d8a-7d5a-47a3-8578-0d8a7d5a37a3/ already exists after 1 times, please check your schema depencncies 

 解決方法:

  1. 去掉  備份文件中  ${backup_path}/2021-08-21T06-35-10/metadata/default/t.json 中的UUID 
  2. UUID '80ea6411-9c37-4d47-80ea-64119c374d47' 
  3.  
  4.  
  5. 再次執行恢復 
  6. clickhouse-backup restore 2021-08-21T06-35-10 -s -d --rm 
  7.  
  8. SELECT count(1) 
  9. FROM datasets.hits_v1 
  10.  
  11. ┌─count(1)─┐ 
  12. │ 17747796 │ 
  13. └──────────┘ 
  14.  
  15. rows in set. Elapsed: 0.016 sec.  
  16.  
  17. localhost :) exit 

 

責任編輯:姜華 來源: 今日頭條
相關推薦

2010-05-26 10:25:50

MySQLdump增量

2010-05-20 11:17:41

虛擬機備份恢復

2017-05-08 10:08:54

災備

2022-08-09 11:25:52

數據備份服務器虛擬化磁盤

2011-03-25 13:43:56

CactiEZ備份

2016-11-18 15:42:06

存儲

2022-08-26 17:22:12

SQL數據庫

2017-04-27 09:05:08

備份寶災備

2009-06-24 10:44:08

2018-04-17 08:24:58

2013-07-18 10:41:11

VADPSRM

2024-04-18 09:20:43

PostgreSQL關系型數據庫數據庫管理系統

2017-04-24 14:29:42

存儲備份寶災備

2017-10-14 13:25:40

公有云Azure Site 云服務

2009-04-03 10:54:49

Oracle備份恢復

2014-09-16 16:37:12

NETGEARReadyRECOVE數據備份

2022-02-23 21:10:53

LonghornKubernetes快照

2010-04-22 15:14:12

Aix操作系統

2020-12-16 20:30:24

Linux系統備份系統恢復

2015-10-21 14:07:17

Oracle備份Oracle恢復
點贊
收藏

51CTO技術棧公眾號

91视频免费观看| 欧美亚洲三级| 亚洲国产精品网站| 热久久精品国产| 男人的天堂在线视频免费观看 | 可以在线观看的av| 麻豆精品在线观看| 韩日精品中文字幕| 99re6热在线精品视频| 成人午夜网址| 欧美精品日韩一本| av天堂永久资源网| 3d玉蒲团在线观看| 国产人伦精品一区二区| 国产免费高清一区| 国产精品老熟女视频一区二区| 99精品视频免费| 日韩中文字幕网站| 丰满少妇高潮一区二区| 91麻豆精品激情在线观看最新 | 国产又粗又猛又爽又黄的| 最新亚洲激情| 欧美成人精品在线| 国产精品久久国产精麻豆96堂| 国内露脸中年夫妇交换精品| 欧美日韩激情一区| 亚洲五月天综合| 黄色激情在线播放| 一区二区三区精品在线观看| 亚洲免费视频一区| 精品视频三区| 93久久精品日日躁夜夜躁欧美| 91牛牛免费视频| 亚洲最大成人av| 日本午夜一本久久久综合| 2023亚洲男人天堂| 日本网站在线播放| 精品99视频| 久久国产精品电影| 国产午夜手机精彩视频| 青青草综合网| 国产一区二区三区在线视频| 日b视频在线观看| jizz性欧美2| 日韩欧美在线网站| 成人三级做爰av| 狂野欧美xxxx韩国少妇| 欧美美女网站色| 欧美视频亚洲图片| 日日夜夜一区| 欧美片在线播放| 欧美激情第3页| 色综合视频一区二区三区日韩| 在线看日韩精品电影| 成人一级片网站| 不卡一二三区| 日本精品免费观看高清观看| 日韩一级免费在线观看| 另类专区亚洲| 在线观看欧美日本| 777一区二区| 2020国产精品小视频| 欧美一级黄色片| 国产在线观看免费播放| av日韩精品| 日韩av一区二区在线观看| 日本激情小视频| 成人看的视频| 美日韩丰满少妇在线观看| 久久久久久久久毛片| 国自产拍偷拍福利精品免费一| 久久久久九九九九| 国产成人综合欧美精品久久| 日韩精品每日更新| 成人黄色免费在线观看| 国产xxxx在线观看| 99久久精品国产一区| 欧美在线视频二区| 麻豆网站在线| 午夜激情久久久| 能看的毛片网站| 国产精品一区二区精品| 亚洲第一精品久久忘忧草社区| 日本japanese极品少妇| 成人黄色小视频| 欧美肥臀大乳一区二区免费视频| 亚洲精品1区2区3区| 老司机午夜精品视频| 91精品在线国产| 黑人精品一区二区三区| 久久精品日产第一区二区三区高清版| 一个色的综合| av资源网在线播放| 欧美三区在线观看| av免费观看不卡| 成人系列视频| 久久久免费精品视频| 免费黄色一级大片| 国产成人99久久亚洲综合精品| 蜜桃视频在线观看91| 免费av在线网址| 欧美日韩中文在线| 亚洲色图欧美自拍| 欧美亚洲大陆| 美日韩丰满少妇在线观看| 欧美性猛交bbbbb精品| 国产在线国偷精品免费看| 久久久久久久有限公司| av在线免费网站| 91福利在线观看| 李丽珍裸体午夜理伦片| 国产精品毛片一区二区在线看| 97人人模人人爽人人喊中文字 | 精品无码三级在线观看视频| 国产一区二区自拍| 亚洲色图美国十次| 欧美日韩国产综合视频在线观看| 日韩一级视频在线观看| 欧美jizzhd精品欧美巨大免费| 国产成人一区二区三区| 西西人体44www大胆无码| 亚洲欧美成aⅴ人在线观看| 狠狠热免费视频| 欧美调教在线| 97国产精品久久| 精品人妻aV中文字幕乱码色欲 | 亚洲一二三区在线| 成人性生交大片免费观看网站| 欧美成人精品1314www| 五月天婷婷丁香网| 日韩成人免费在线| 日本公妇乱淫免费视频一区三区| 国模精品视频| 亚洲成人久久电影| 国产在线观看成人| 成人性生交大片免费看中文| 国内外成人激情免费视频| 国产成人福利夜色影视| 亚洲香蕉成人av网站在线观看| 亚洲午夜18毛片在线看| 99riav一区二区三区| 国产精品一线二线三线| 超碰97久久国产精品牛牛| 久久99国产综合精品女同| 国产99久久九九精品无码免费| 国产精品理论片在线观看| 亚洲老女人av| 久久久综合色| 国产日韩在线观看av| 日韩精品黄色| 制服丝袜激情欧洲亚洲| 日韩一级片大全| 国产精品香蕉一区二区三区| 欧美另类videosbestsex日本| 国产精品久久久久久久久久久久久久久 | 国产成人综合一区二区三区| 国产中文字幕在线看| 91福利精品视频| 99久久99久久精品免费看小说.| 日本不卡的三区四区五区| 亚洲一区二区三区加勒比| 婷婷久久免费视频| 欧美成人自拍视频| 少妇荡乳情欲办公室456视频| 午夜精品福利一区二区蜜股av| 国产麻豆天美果冻无码视频| 视频一区二区中文字幕| 亚洲成人在线视频网站| 亚洲日本中文| 国模私拍一区二区三区| 久久这里精品| 3d动漫精品啪啪一区二区竹菊| 欧美成人精品欧美一级| av网站免费线看精品| 国产精品免费观看久久| 99久久婷婷这里只有精品| 亚洲一区二区三区香蕉| 国产美女高潮在线观看| 国产亚洲精品久久| 国产视频手机在线| 欧美日韩在线第一页| 欧美另类69xxxx| 成人性生交大片免费看中文网站| 欧美三级午夜理伦三级| 欧美成人milf| 国偷自产av一区二区三区小尤奈| 婷婷综合六月| 欧美巨乳在线观看| 国产精品一区二区婷婷| 欧美一区二区三区在线电影| 中文字幕激情小说| 国产精品进线69影院| 日韩少妇一区二区| 日本中文字幕一区| 青青草国产免费| 日本不卡二三区| 国模一区二区三区私拍视频| 久久久免费人体| 97色在线视频观看| 国产一二区在线| 精品中文视频在线| 午夜精品久久久久久久99| 色婷婷av一区| 久久一级黄色片| 国产精品女同一区二区三区| 三级视频网站在线观看| 久久99精品国产| 国产成人久久777777| 欧美天天在线| 中文字幕剧情在线观看一区| 亚洲精品无吗| 国产伦一区二区三区色一情| 亚洲欧美专区| 国产精品69久久久久| 成人一级福利| 欧美激情精品久久久久久免费印度| 国产露出视频在线观看| 日韩电视剧免费观看网站| 国产黄色片av| 欧美疯狂做受xxxx富婆| 综合网在线观看| 亚洲3atv精品一区二区三区| 婷婷伊人五月天| 国产精品丝袜黑色高跟| 受虐m奴xxx在线观看| 91香蕉视频污| 影音先锋黄色资源| 懂色av中文一区二区三区| 国产探花在线观看视频| 蜜臀av性久久久久av蜜臀妖精| 久久成人福利视频| 欧美日韩蜜桃| 激情五月六月婷婷| 欧美在线国产| 男女h黄动漫啪啪无遮挡软件| 欧美日韩中文一区二区| 欧洲一区二区在线| 蜜桃国内精品久久久久软件9| 久久久久久a亚洲欧洲aⅴ| 加勒比久久高清| 国产一区二区三区色淫影院| 老司机精品在线| 精品一区二区三区视频日产| 成人午夜网址| 久久久久久九九九九| 亚洲品质自拍| 欧美一区二区三区四区在线观看地址| 三级小说欧洲区亚洲区| 欧美lavv| 欧美亚洲国产激情| 伊人av成人| 91精品一区二区三区综合在线爱 | 欧美美女一区二区三区| 91精品人妻一区二区三区果冻| 欧美日韩不卡在线| 97久久人国产精品婷婷| 日韩亚洲电影在线| 免费观看国产精品| 亚洲精品电影网在线观看| 色综合成人av| 日韩中文字幕亚洲| 欧美性爽视频| 午夜精品99久久免费| 久九九久频精品短视频| 国产精品亚洲视频在线观看| 二区三区精品| 国产经品一区二区| 一区二区三区视频免费观看| 亚洲激情一区二区| 欧美/亚洲一区| 欧美亚洲一二三区| 蜜桃视频一区二区| 年下总裁被打光屁股sp| 91蝌蚪porny九色| 妖精视频在线观看免费 | 国产精品视频网站在线观看| 亚洲精品1区| 天天爽夜夜爽一区二区三区| 国产一区二区电影| 亚洲熟女一区二区| 中文字幕巨乱亚洲| 69精品久久久| 91福利视频久久久久| 精品人妻午夜一区二区三区四区 | 精品少妇久久久| 色香色香欲天天天影视综合网| 亚洲熟妇无码久久精品| 日韩精品一区二区三区中文不卡| 日韩毛片在线一区二区毛片| 日韩亚洲在线观看| 男女羞羞在线观看| 国产综合在线观看视频| 国产劲爆久久| 一本久久a久久精品vr综合| 亚洲第一在线| 国产一级片自拍| 97久久精品人人做人人爽50路| 日本午夜精品视频| 五月激情六月综合| 国产精品视频在线观看免费| 亚洲精选中文字幕| 伊人222成人综合网| 国产精品久久999| 99这里只有精品视频| 视频一区二区精品| 国产精品资源| 佐佐木明希电影| 亚洲欧洲精品成人久久奇米网| 久久不卡免费视频| 日韩精品综合一本久道在线视频| 国产天堂在线| 91精品国产91久久久久久久久 | 亚洲欧美国产精品久久久久久久| 国产写真视频在线观看| 国产精品久久久久久久久久 | 国产乱码精品一区二区三区五月婷| 日本一区二区三区网站| 伊人婷婷欧美激情| 中文字幕一区二区三区四区视频 | 九九热精品免费视频| 欧美午夜精品久久久久久超碰 | 久久精品国产96久久久香蕉| 欧美精品高清| 免费看污久久久| 国产日韩一区| 亚洲男女在线观看| 午夜私人影院久久久久| 国产浮力第一页| 久久影院模特热| 成人在线视频www| 在线观看日韩片| 蜜桃视频一区二区三区在线观看| 欧洲av一区二区三区| 日韩欧美一区二区三区| 视频国产一区二区三区| 97在线视频免费看| 精品午夜电影| www.av中文字幕| 99re成人精品视频| 久久久久久久黄色片| 日韩精品免费电影| 神马午夜在线视频| 久久一区二区三区av| 久久成人免费| 欧美偷拍一区二区三区| 在线欧美一区二区| aaa在线免费观看| 国产精品亚洲视频在线观看| 久久激情电影| 免费网站在线观看黄| 亚洲日本一区二区三区| 精品国产999久久久免费| 久久国产精品免费视频 | 美女免费视频一区二区| 超碰人人干人人| 这里只有精品免费| 久久www人成免费看片中文| 国产精品免费区二区三区观看| 激情欧美日韩一区| 美国黄色a级片| 欧美亚州韩日在线看免费版国语版| 午夜小视频在线| 亚洲一区二区三区四区在线播放| 国产精品vip| 手机在线看片日韩| 日本电影亚洲天堂一区| 免费a级毛片在线播放| 国产精品二区在线观看| 欧美亚洲一级| 午夜国产福利视频| 精品欧美乱码久久久久久 | 欧美日本亚洲韩国国产| 成人在线视频免费播放| 色成年激情久久综合| 欧美日韩欧美| 极品尤物一区二区三区| 日韩成人av影视| 麻豆视频在线观看| 亚洲人成网在线播放| 999久久久国产999久久久| cao在线观看| 国产精品私人影院| 人妻一区二区三区| 国产精品久久久久久久美男| 欧美成人高清| www在线观看免费视频| 337p亚洲精品色噜噜| 在线播放高清视频www| 国产a级片免费看| 91视频观看免费| 国产精品久久久国产盗摄| 91精品国产777在线观看| 日韩久久精品网| 在线免费观看污视频| 在线不卡中文字幕| 亚洲欧洲自拍| 激情五月婷婷六月| 国产精品国产自产拍高清av王其| 欧日韩在线视频| 成人精品福利视频|