允許 Prometheus 通過 NAT 抓取指標(biāo)的工具 - PushProx
我們知道 Prometheus 是 Pull 模式去拉取監(jiān)控指標(biāo)的，但是在有些場景下面并不能直接訪問到的時(shí)候，就需要使用一些附加的方式，PushProx 就是應(yīng)用于這種場景的。PushProx 是一個(gè)客戶端和代理，它允許 Prometheus 穿透 NAT 和其他類似的網(wǎng)絡(luò)拓?fù)?，同時(shí)仍然遵循 Pull 模式拉取指標(biāo)。
架構(gòu)
PushProx 主要由 proxy 和 client 兩部分組成，proxy 負(fù)責(zé)接收來自 prometheus server 的 metric 請(qǐng)求，然后 proxy 將請(qǐng)求信息 proxy 給 client，client 找本地設(shè)備獲取到 metric 后，將結(jié)果返回給 proxy。要求 proxy 部署在 prometheus 能夠訪問到的地方，client 則部署在需要采集的 node 所在的網(wǎng)絡(luò)。
它適用于以下網(wǎng)絡(luò)環(huán)境：
- Prometheus 無法直接訪問客戶端 ECS。
- Prometheus 可以訪問客戶端所在 VPC 中的 ECS(PushProx 代理)，可通過內(nèi)網(wǎng)穿透或者暴露公網(wǎng)的方式使其可達(dá) PushProx 代理。
- 客戶EC和 PushProx 代理處于同一VPC。
每個(gè)客戶端有其 fqdn 標(biāo)識(shí)，Prometheus 通過 PushProx 抓取目標(biāo) fqdn-x時(shí)，執(zhí)行以下的操作過程：
- 客戶端輪詢代理，以獲取抓取請(qǐng)求，并將其 fqdn 包含在輪詢中(1);客戶端發(fā)送 POST 請(qǐng)求到代理端，此時(shí)代理未響應(yīng)。
- Prometheus 嘗試通過代理，抓取主機(jī)名為 fqdn-x 的目標(biāo)(2)。Prometheus 發(fā)送 GET 請(qǐng)求到代理端，代理根據(jù) fqdn-x 路由到正確的客戶端，此時(shí)代理未響應(yīng)。
- 抓取請(qǐng)求位于輪詢中的，代理發(fā)送給客戶端的響應(yīng)報(bào)文中，以響應(yīng)步驟1中的客戶端POST請(qǐng)求(3)。
- 抓取請(qǐng)求由客戶端執(zhí)行(4)。
- 抓取到的數(shù)據(jù)包含指標(biāo)的響應(yīng)(5)，并且發(fā)布到代理中(6)。
- 代理將其返回給 Prometheus 中(7)，作為步驟2中 Prometheus 發(fā)送GET請(qǐng)求時(shí)的響應(yīng)報(bào)文。
PushProx 透明地傳遞所有 HTTP 標(biāo)頭，壓縮和接受編碼等功能取決于抓取 Prometheus 服務(wù)器。
測試
這里測試我們需要用到以下組件進(jìn)行測試：
- node_exporter 暴露 node 的一些基礎(chǔ) metric。
- pushprox-client 和 node_exporter 一起部署在需要收集的 NAT 環(huán)境下的 node 上。
- pushprox-proxy 和 prometheus 都部署在外網(wǎng)。prometheus 可以訪問到 pushprox-proxy 的服務(wù)。
proxy 對(duì) client 進(jìn)行 TLS 認(rèn)證
由于目前 proxy 和 client 之間沒有做認(rèn)證，client 所在 ip 不確定，proxy 無法針對(duì) client 配置防火墻策略，需要增加 proxy 和 client 之間的認(rèn)證。
使用 tls 來對(duì) client 進(jìn)行校驗(yàn)。pushprox-proxy 不支持 tls，需要 nginx 作為反向代理到 pushprox-proxy，然后 nginx 上配置 tls，并且在 nginx 上開啟 ssl_verify_client 。pushprox-client 支持 tls 客戶端連接到 nginx 。pushprox-client 要求 tls 要支持 SAN(Subject Alternative Name) 是SSL 標(biāo)準(zhǔn)x509 中定義的一個(gè)擴(kuò)展)。所以生成自簽名證書的時(shí)候需要支持 SAN 。這里我們可以參考 https://github.com/ljq/gen-tlsv3-san-ca 來生成自簽名證書。
啟動(dòng) pushprox-proxy
pushprox-proxy 需要部署在公網(wǎng)的服務(wù)器上，而且 pushprox-proxy 要跟每個(gè) client 保持一個(gè)長連接，如果 client 比較多， proxy 要考慮負(fù)載均衡。
./pushprox-proxy配置 nginx
nginx 反向代理到 pushprox-proxy， nginx 上配置 tls(pushprox.conf)：
upstream prox-backend {
server 127.0.0.1:8080;
}
server {
listen 443 ssl;
server_name promprox.k8s.local;
ssl on;
ssl_certificate /opt/xk-self-cert/server.crt; #配置證書位置
ssl_certificate_key /opt/xk-self-cert/server.key; #配置秘鑰位置
ssl_client_certificate /opt/xk-self-cert/ca.crt; #雙向認(rèn)證
ssl_verify_client on; #雙向認(rèn)證
ssl_session_timeout 5m;
ssl_protocols SSLv2 SSLv3 TLSv1 TLSv1.1 TLSv1.2 TLSv1.3; #按照這個(gè)協(xié)議配置
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE; #按照這個(gè)套件配置
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://prox-backend/;
}
}
啟動(dòng) client
pushprox-client 要配置自簽名證書中的 ca 和 client crt。
./pushprox-client --proxy-url=https://promprox.k8s.local --tls.cacert=/opt/xk-self-cert/ca.crt --tls.cert=/opt/xk-self-cert/client.crt --tls.key=/opt/xk-self-cert/client.key
啟動(dòng) prometheus
./prometheus --config.file=prometheus-prox.yml
配置文件如下所示：
# prometheus-prox.yml
global:
scrape_interval: 15s
evaluation_interval: 15s
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
- job_name: node
proxy_url: http://xx.xx.xx.xx:8080/ # 配置為 proxy 的地址
static_configs:
- targets: ['ceph-local:9100'] # Presuming the FQDN of the client is "client".
正常就可以抓取到指標(biāo)數(shù)據(jù)了。
