Prometheus基于Consul的 Redis 多實例監控方案

作者：Marionxue 2022-08-27 21:37:57

使用 Prometheus? 進行 Redis? 監控的都知道，Redis_exporter? 是較常用的解決方案，但是在 redis_exporter? 開始的版本中，并不支持一個 redis_exporter? 實例監控多 Redis? 實例，這樣造成 exporter? 實例的數量較多，難以維護和管理。

Redis exporter

使用 Prometheus? 進行 Redis? 監控的都知道，Redis_exporter? 是較常用的解決方案，但是在 redis_exporter? 開始的版本中，并不支持一個 redis_exporter? 實例監控多 Redis? 實例，這樣造成 exporter? 實例的數量較多，難以維護和管理。但是好在官方已經解決了此問題。在 metrics 的暴漏形式上也有所改變：

# old
http://redis_exporter:9121/metrics
# now
http://redis_exporter:9121/scrape?target=redis://redis:6379

這種改變一定程度緩解了 redis? 相同認證方式上 redis_exporter實例過多，維護難得問題。

prometheus配置回顧

prometheus 有靜態配置和動態配置。

靜態配置

靜態配置就是直接把要監控的目標寫死到 prometheus? 的配置文件中，這樣維護起來比較難，需要頻繁的修改配置文件 prometheus.yml?. 同時還需進行 reload 操作才能生效。

scrape_configs: 
- job_name: node 
  static_configs: 
  - targets: 
    - 10.40.58.153:9100 
    - 10.40.61.116:9100 
    - 10.40.58.154:9100

配置完成后需要 reload 后，才能生效。

curl -XPUT http://prometheus:9090/-/reload

基于文件發現

- job_name: 'RabbitMQ-server'
    file_sd_configs:
    - files:
      - rabbitmq.json

與此相反，prometheus? 也可基于文件形式 rabbitmq.json?（與 prometheus? 在同一級目錄下）的動態發現，雖然不需要再頻繁修改的 prometheus? 配置文件后進行 reload 操作，但是維護文件對運維確實也是苦難的，可自動化程度低且復雜。

基于consul/etcd

prometheus? 是可以基于 consul/etcd? 實現動態發現的，這也是今天說的重點，對于基于 consul 實現的監控目標自動發現好處多多:

避免頻繁操作機器配置文件來增加和修改配置項，減輕運維人員負擔避免成為配置達人。
利用 consul 等自帶的 API 可以結合現有的平臺實現自動化接入。
無需reload。

其他過多的就不在擴展了，直接進入正題，通過 Redis_exporter? 的動態發現實現多實例監控來熟悉一下 consul? 在 prometheus 動態發現中有多重要。

前期準備

因為這里主要記錄 prometheus? 基于 consul? 實現的 redis_exporter? 進行多實例監控的案例，consul? 和 prometheus 部署的問題就不在細說。

測試環境服務器IP：192.168.0.100。

consul部署

1.consul配置文件consul.hcl。

client_addr = "0.0.0.0"
ui_config{
  enabled = true
}
server = true
bootstrap = true
acl = {
  enabled = true
  default_policy = "deny"
  enable_token_persistence = true
}

2.Consul docker-compose.yaml。

version: '3'
services:
  consul-server1:
    image: hashicorp/consul:1.13
    container_name: consul-server
    restart: always
    ports:
      - "8500:8500"
      - "8600:8600/tcp"
      - "8600:8600/udp"
    command: "agent -server -config-file /consul/consul.hcl"
    volumes:
      - ./consul.hcl:/consul/consul.hcl:ro

啟動 consul? 服務，并且獲取 consul? 的 token?，后期 prometheus 的配置中需要用到。

docker-compose up -d
docker exec -it consul-server bash
consul acl bootstrap

redis_exporter

redis_exporter 多實例密碼問題[1]。

# 運行一個redis_exporter，用于獲取 沒有啟用認證的實例的指標
docker run -d --name redis_exporter -p 19121:9121 oliver006/redis_exporter
# 運行一個redis_exporter，用于獲取 啟用認證且密碼是SUPER_SECRET_PASSWORD的實例的指標
docker run -d --name redis_exporter_auth -p 29121:9121 oliver006/redis_exporter -redis.password SUPER_SECRET_PASSWORD
# 運行一個 啟用認證且密碼是SUPER_SECRET_PASSWORD的redis實例
docker run --name redis -d -p 46379:6379 redis redis-server --requirepass "SUPER_SECRET_PASSWORD"

在redis_exporter issues中也有人做了針對不同密碼不同redis實例采集的Docker鏡像, 但這種方案無論在prometheus展示中還是在consul中都會明文暴漏redis實例密碼，有需要的可以自己查看[2]。

prometheus

1.prometheus docker-compose.yaml。

version: '3'
services:
  prometheus:
    image: prom/prometheus:v2.12.0
    container_name: prometheus
    volumes:
      - /apps/prometheus/conf/:/etc/prometheus/
    restart: always
    ports:
      - "9090:9090"
    command: ['--web.external-url=http://192.168.0.100:9090','--config.file=/etc/prometheus/prometheus.yml','--storage.tsdb.path=/prometheus/data','--web.enable-lifecycle','--web.enable-admin-api','--web.console.templates=/prometheus/consoletest','--web.page-title=prometheus-consul-redis實踐展示'

2.注冊redis? 到consul 中。

curl --location --request PUT 'http://consul:8500/v1/agent/service/register' \
--header 'X-CONSUL-TOKEN: 17ee5423-b5ce-xxxx-338e-xxxxxxxxxxx' \
--header 'Content-Type: application/json' \
--data-raw '{
    "id": "redis-192.168.0.100:46379",
    "name": "redis",
    "address": "192.168.0.100",
    "port": 46379,
    "tags": [
        "192.168.0.100:29121",
        "redis",
        "test"
    ],
    "checks": [
        {
          "http": "http://192.168.0.100:29121",
          "interval": "5s"
        }
    ]
}'

consul頁面

這樣截圖對比一下是否清晰的知道 JSON? 中每個字段的含義了？對于同一分類的 redis? 實例可以放在同一個 service? 的 name? 下，也就是通過 service? 的 name 進行分組。

3.服務注冊到consul? 以后，就需要修改prometheus 的配置了。

- job_name: consul_redis
    scrape_interval: 15s
    scrape_timeout: 5s
    consul_sd_configs:
      - server: '192.168.0.100:8500' # 修改你consul服務所在的ip地址
        token: '17ee5423-b5ce-xxxx-338e-xxxxxxxxxxx' # 修改你從consul中獲取到的token
        refresh_interval: 30s
        services: ["redis"] # 這里是匹配注冊到consul中的服務名稱
        tags: ['test','redis'] # 這是匹配注冊到consul中的tags, 要對應一致，不然查找到對象
    metrics_path: /scrape # redis_exporter 監控多實例時要把/metrics自定義為/scrape
    relabel_configs: # 以下是修正標簽值以及grafana的自定義模板進行的自定義標簽【注意：】一定要按需修改，切勿照搬
      - source_labels: ['__meta_consul_service']
        regex: "consul"
        action: drop
      - source_labels: ['__address__']
        target_label: __param_target
      - source_labels: ['__param_target']
        target_label: realip # 自定義realip標簽，值為注冊進去的address:port，用于grafana dashboard
      - source_labels: ['__meta_consul_tags']
        separator: ','
        regex: ",(.*),redis,test," # 此處要注意逗號格式,按照tags的順序匹配,(.*)獲取到的是redis_exporter的實例地址
        replacement: $1
        target_label: exporter
      - source_labels: ['__meta_consul_tags']
        separator: ','
        regex: ",(.*),redis,test,"
        replacement: $1
        target_label: __address__ # 此處是修正endpoint的值為redis_exporter的實例地址
      - source_labels: ['__param_target']
        regex: "(.*):(.*)"
        replacement: $2
        target_label: port # 自定義標簽port，用于grafana dashboard

如果有同學借鑒以上配置，把自定義標簽 realip/port 兩個去掉即可，其它不動即可使用。

4.修改完成后，我們做針對consul_redis? 這個 job 的最后一次reload prometheus服務。

curl -XPUT http://prometheus:9090/-/reload

5.然后訪問prometheus 的頁面，查看是否有監控項被發現。

prometheus target頁面

這里就是最后的發現結果。

6.通過curl 查看監控指標的值

通過curl查看exporter結果

7.查看grafana 數據展示。

在 Dashboard? 中配置之前定義好的realip變量,最終的展示大盤。

資料參考

[1]redis_exporter 多實例密碼問題討論:https://github.com/oliver006/redis_exporter/issues/278

[2]redis_exporter multi-auth docker:https://hub.docker.com/r/linuxhub/redis_exporter

責任編輯：武曉燕來源：云原生生態圈

Prometheus Redis?監控