Linkerd 2.10(Step by Step)—Ingress 流量
Linkerd 2.10 中文手冊持續(xù)修正更新中：
- https://linkerd.hacker-linner.com
從 Linkerd 2.9 版開始，有兩種方式可以讓 Linkerd 代理 與您的 Ingress Controller 一起運行。
默認模式
當 ingress controller 注入 linkerd.io/inject: enabled annotation 時， Linkerd 代理將遵守 ingress controller 做出的負載平衡決策， 而不是應用自己的 EWMA 負載平衡。這也意味著 Linkerd 代理不會為此流量使用服務配置文件(Service Profiles)， 因此不會公開每個路由的指標(per-route metrics)或進行流量拆分(traffic splitting)。
如果您的 Ingress controller 注入沒有特定于 Ingress 的額外配置， Linkerd 代理將在默認模式下運行。
代理 Ingress Mode
如果您需要 Linkerd 功能，如服務配置文件(Service Profiles)、流量拆分(Traffic Splits)等， 則需要進行額外的配置才能使 Ingress 控制器的 Linkerd 代理在入口模式下運行。這會導致 Linkerd 根據(jù)其 :authority、Host 或 l5d-dst-override headers 而不是原始目的地來路由請求，這允許 Linkerd 執(zhí)行自己的負載平衡 并使用服務配置文件(Service Profiles)來公開每個路由的指標并啟用流量拆分(traffic splitting)。
通過在 Ingress Controller 的 Pod Spec 中添加以下注釋， 即 linkerd.io/inject: ingress，可以使 Ingress 控制器 deployment 的代理 在 ingress 模式下運行。
同樣可以通過在注入命令中使用 --ingress 標志來完成。
- kubectl get deployment <ingress-controller> -n <ingress-namespace> -o yaml | linkerd inject --ingress - | kubectl apply -f -
這可以通過檢查 Ingress 控制器的 pod 是否具有相關的 annotation 集來驗證。
- kubectl describe pod/<ingress-pod> | grep "linkerd.io/inject: ingress"
對于 ingress，大多數(shù)控制器默認情況下不會將傳入 header (example.com) 重寫 為內(nèi)部服務名稱(example.default.svc.cluster.local)。在這種情況下，當 Linkerd 收到傳出請求時，它認為該請求的目的地 是 example.com 而不是 example.default.svc.cluster.local。這會造成一個非常令人沮喪的無限循環(huán)!
幸運的是，許多入口控制器允許您修改 Host header 或向傳出請求添加自定義標頭。以下是常見入口控制器的一些說明：
- Nginx
- Traefik
- GCE
- Ambassador
- Gloo
- Contour
- Kong
如果您的 ingress controller 正在終止 HTTPS， Linkerd 將只為傳入請求提供 TCP 統(tǒng)計信息， 因為代理看到的所有流量都是加密的。它將提供從控制器到后端服務的傳出請求的完整統(tǒng)計信息， 因為這是從控制器到 Linkerd 的純文本。
如果請求在注入您的 ingress controller 后遇到 2-3 秒的延遲， 這可能是因為 type: LoadBalancer 的服務隱藏了客戶端源 IP。您可以通過在入口的服務定義中設置 externalTrafficPolicy: Local 來解決此問題。
雖然 Kubernetes Ingress API 定義允許 backend 的 servicePort 是字符串值， 但 Linkerd 只能使用數(shù)字 servicePort 值。如果遇到字符串值，Linkerd 將默認使用端口 80。
Nginx
這里以 emojivoto 為例
示例入口定義是：
- apiVersion: extensions/v1beta1
- kind: Ingress
- metadata:
- name: web-ingress
- namespace: emojivoto
- annotations:
- kubernetes.io/ingress.class: "nginx"
- nginx.ingress.kubernetes.io/configuration-snippet: |
- proxy_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- grpc_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- spec:
- rules:
- - host: example.com
- http:
- paths:
- - backend:
- serviceName: web-svc
- servicePort: 80
這里的重要 annotation 是：
- nginx.ingress.kubernetes.io/configuration-snippet: |
- proxy_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- grpc_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
如果您使用的是 auth-url， 則還需要添加以下代碼段。
- nginx.ingress.kubernetes.io/auth-snippet: |
- proxy_set_header l5d-dst-override authn-name.authn-namespace.svc.cluster.local:authn-port;
- grpc_set_header l5d-dst-override authn-name.authn-namespace.svc.cluster.local:authn-port;
這個例子結合了 NGINX 用于代理 HTTP 和 gRPC 流量的兩個指令。實際上，根據(jù)服務使用的協(xié)議，只需要設置 proxy_set_header 或 grpc_set_header 指令， 但是 NGINX 將忽略任何不需要的指令。
此示例入口定義為具有使用不同端口的多個端點的應用程序使用單個入口。
- apiVersion: extensions/v1beta1
- kind: Ingress
- metadata:
- name: web-ingress
- namespace: emojivoto
- annotations:
- kubernetes.io/ingress.class: "nginx"
- nginx.ingress.kubernetes.io/configuration-snippet: |
- proxy_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- grpc_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- spec:
- rules:
- - host: example.com
- http:
- paths:
- - path: /
- backend:
- serviceName: web-svc
- servicePort: 80
- - path: /another-endpoint
- backend:
- serviceName: another-svc
- servicePort: 8080
Nginx 將添加一個 l5d-dst-override header 來 指示 Linkerd 請求的目的地是什么服務。您需要同時包含 Kubernetes service FQDN (web-svc.emojivoto.svc.cluster.local) 和目標 servicePort。
要對此進行測試，您需要獲取控制器的外部 IP 地址。如果您通過 helm 安裝了 nginx-ingress，則可以通過運行以下命令獲取該 IP 地址：
- kubectl get svc --all-namespaces \
- -l app=nginx-ingress,component=controller \
- -o=custom-columns=EXTERNAL-IP:.status.loadBalancer.ingress[0].ip
然后你可以通過 curl 使用這個 IP：
- curl -H "Host: example.com" http://external-ip
如果您使用默認后端，則需要為該后端創(chuàng)建入口定義 以確保設置了 l5d-dst-override header。例如：
- apiVersion: extensions/v1beta1
- kind: Ingress
- metadata:
- name: default-ingress
- namespace: backends
- annotations:
- kubernetes.io/ingress.class: "nginx"
- nginx.ingress.kubernetes.io/configuration-snippet: |
- proxy_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- grpc_set_header l5d-dst-override $service_name.$namespace.svc.cluster.local:$service_port;
- spec:
- backend:
- serviceName: default-backend
- servicePort: 80
Traefik
這里以 emojivoto 為例，看一下 getting started 以復習如何安裝它。
使用 Traefik 作為 Linkerd ingress 的最簡單方法是使用 ingress.kubernetes.io/custom-request-headers 配置 Kubernetes Ingress resource，如下所示：
- apiVersion: extensions/v1beta1
- kind: Ingress
- metadata:
- name: web-ingress
- namespace: emojivoto
- annotations:
- kubernetes.io/ingress.class: "traefik"
- ingress.kubernetes.io/custom-request-headers: l5d-dst-override:web-svc.emojivoto.svc.cluster.local:80
- spec:
- rules:
- - host: example.com
- http:
- paths:
- - backend:
- serviceName: web-svc
- servicePort: 80
這里的重要 annotation 是：
- ingress.kubernetes.io/custom-request-headers: l5d-dst-override:web-svc.emojivoto.svc.cluster.local:80
Traefik 將添加一個 l5d-dst-override header 來指示 Linkerd 請求的目的地是什么服務。您需要同時包含 Kubernetes service FQDN (web-svc.emojivoto.svc.cluster.local) 和目標 servicePort。有關更多信息，請參閱 Traefik 網(wǎng)站。
要對此進行測試，您需要獲取控制器的外部 IP 地址。如果您通過 helm 安裝了 Traefik，則可以通過運行以下命令獲取該 IP 地址：
- kubectl get svc --all-namespaces \
- -l app=traefik \
- -o='custom-columns=EXTERNAL-IP:.status.loadBalancer.ingress[0].ip'
然后你可以通過 curl 使用這個 IP：
- curl -H "Host: example.com" http://external-ip
如果您使用 Traefik 的 service weights，此解決方案將不起作用， 因為 Linkerd 將始終向 l5d-dst-override 中的服務名稱發(fā)送請求。一種解決方法是使用 traefik.frontend.passHostHeader: "false" 代替。請注意，如果您使用 TLS，Traefik 和后端服務之間的連接將不會被加密。有一個open issue 可以跟蹤此問題的解決方案。
Traefik 2.x
Traefik 2.x 通過名為 IngressRoute 的 Custom Resource Definition (CRD) 添加了 對基于路徑(path)的請求路由的支持。
如果您選擇使用 IngressRoute 而不是默認的 Kubernetes Ingress resource， 那么您還需要使用 Traefik 的 Middleware Custom Resource Definition 來添加 l5d-dst-override header。
下面的 YAML 使用 Traefik CRD 為 emojivoto 應用程序生成相同的結果，如上所述。
- apiVersion: traefik.containo.us/v1alpha1
- kind: Middleware
- metadata:
- name: l5d-header-middleware
- namespace: traefik
- spec:
- headers:
- customRequestHeaders:
- l5d-dst-override: "web-svc.emojivoto.svc.cluster.local:80"
- ---
- apiVersion: traefik.containo.us/v1alpha1
- kind: IngressRoute
- metadata:
- annotations:
- kubernetes.io/ingress.class: traefik
- creationTimestamp: null
- name: emojivoto-web-ingress-route
- namespace: emojivoto
- spec:
- entryPoints: []
- routes:
- - kind: Rule
- match: PathPrefix(`/`)
- priority: 0
- middlewares:
- - name: l5d-header-middleware
- services:
- - kind: Service
- name: web-svc
- port: 80
GCE
這個例子和 Traefik 類似，也以 emojivoto 為例。查看 getting started 以復習如何安裝它。
除了在 Traefik 示例中找到的自定義 headers 之外， 它還展示了如何將 Google Cloud Static External IP Address 和 TLS 與 Google-managed certificate 一起使用。
示例入口定義是：
- apiVersion: extensions/v1beta1
- kind: Ingress
- metadata:
- name: web-ingress
- namespace: emojivoto
- annotations:
- kubernetes.io/ingress.class: "gce"
- ingress.kubernetes.io/custom-request-headers: "l5d-dst-override: web-svc.emojivoto.svc.cluster.local:80"
- ingress.gcp.kubernetes.io/pre-shared-cert: "managed-cert-name"
- kubernetes.io/ingress.global-static-ip-name: "static-ip-name"
- spec:
- rules:
- - host: example.com
- http:
- paths:
- - backend:
- serviceName: web-svc
- servicePort: 80
要使用此示例定義，請將 managed-cert-name 和 static-ip-name 替換為您項目中定義的短名稱(n.b. 使用 IP 地址的名稱，而不是地址本身)。
托管證書將需要大約 30-60 分鐘來提供，但 ingress 的狀態(tài)應該在幾分鐘內(nèi)是健康的。提供托管證書后，ingress 應該對 Internet 可見。
Ambassador
這里以 emojivoto 為例， 看一下 getting started 以復習如何安裝它。
Ambassador 不使用 Ingress 資源，而是依賴 Service。示例服務定義是：
- apiVersion: v1
- kind: Service
- metadata:
- name: web-ambassador
- namespace: emojivoto
- annotations:
- getambassador.io/config: |
- ---
- apiVersion: ambassador/v1
- kind: Mapping
- name: web-ambassador-mapping
- service: http://web-svc.emojivoto.svc.cluster.local:80
- host: example.com
- prefix: /
- add_linkerd_headers: true
- spec:
- selector:
- app: web-svc
- ports:
- - name: http
- port: 80
- targetPort: http
這里的重要 annotation 是：
- add_linkerd_headers: true
Ambassador 將添加一個 l5d-dst-override header 來指示 Linkerd 的請求是為什么服務。這將包含 Kubernetes service FQDN (web-svc.emojivoto.svc.cluster.local) 和 目標 servicePort。
要使其全局化，請將 add_linkerd_headers 添加到您的 Module 配置中。
要對此進行測試，您需要獲取控制器的外部 IP 地址。如果您通過 helm 安裝了 Ambassador，則可以通過運行以下命令獲取該 IP 地址：
- kubectl get svc --all-namespaces \
- -l "app.kubernetes.io/name=ambassador" \
- -o='custom-columns=EXTERNAL-IP:.status.loadBalancer.ingress[0].ip'
如果您已經(jīng)安裝了管理界面，這將返回兩個 IP，其中之一是
然后你可以通過 curl 使用這個 IP：
- curl -H "Host: example.com" http://external-ip
您還可以在此處 從 Buoyant 的人們那里找到有關將 Linkerd 與 Emissary Ingress(又名Ambassador)結合使用的更詳細指南。
Gloo
這里以 books 為例，查看 Demo: Books 了解如何運行它。
如果您使用 Gateway method(gloo install gateway)安裝了 Gloo， 那么您將需要一個 VirtualService 才能將流量路由到您的 Books 應用程序。
要將 Gloo 與 Linkerd 一起使用，您可以選擇兩個選項之一。
自動的
從 Gloo v0.13.20 開始，Gloo 與 Linkerd 進行了原生集成， 因此會自動添加所需的 Linkerd header。
假設您將 gloo 安裝到默認位置，您可以通過運行以下命令啟用本機集成：
- kubectl patch settings -n gloo-system default \
- -p '{"spec":{"linkerd":true}}' --type=merge
Gloo 現(xiàn)在會自動向上游的每個 kubernetes 添加 l5d-dst-override header。
現(xiàn)在只需添加一條到上游 books app 的路由：
- glooctl add route --path-prefix=/ --dest-name booksapp-webapp-7000
手動的
如本文檔開頭所述，您需要指示 Gloo 添加一個 header，以允許 Linkerd 識別將流量發(fā)送到何處。
- apiVersion: gateway.solo.io/v1
- kind: VirtualService
- metadata:
- name: books
- namespace: gloo-system
- spec:
- virtualHost:
- domains:
- - '*'
- name: gloo-system.books
- routes:
- - matcher:
- prefix: /
- routeAction:
- single:
- upstream:
- name: booksapp-webapp-7000
- namespace: gloo-system
- routePlugins:
- transformations:
- requestTransformation:
- transformationTemplate:
- headers:
- l5d-dst-override:
- text: webapp.booksapp.svc.cluster.local:7000
- passthrough: {}
這里的重要 annotation 是：
- routePlugins:
- transformations:
- requestTransformation:
- transformationTemplate:
- headers:
- l5d-dst-override:
- text: webapp.booksapp.svc.cluster.local:7000
- passthrough: {}
使用 Gloo 中內(nèi)置的內(nèi)容轉換引擎，您可以指示它添加所需的 l5d-dst-override header， 該 header 在上面的示例中指向服務的 FDQN 和端口：webapp.booksapp.svc.cluster.local:7000
Test
為了輕松測試這一點，您可以通過運行以下命令獲取 Gloo 代理的 URL：
- glooctl proxy URL
這將返回類似于：
- $ glooctl proxy url
- http://192.168.99.132:30969
對于上面的示例 VirtualService，它偵聽任何域(domain)和路徑(path)， 在瀏覽器中訪問代理 URL (http://192.168.99.132:30969) 應該會打開 Books 應用程序。
Contour
Contour 不支持自動設置 l5d-dst-override header。以下示例使用 Contour getting started 來演示如何手動設置所需的 header：
首先，將 Linkerd 注入您的 Contour 安裝：
- linkerd inject https://projectcontour.io/quickstart/contour.yaml | kubectl apply -f -
Envoy 不會自動掛載 service account token。要解決此問題，您需要設置 automountServiceAccountToken: true。您可以選擇創(chuàng)建一個專用 service account 以避免使用 default。
- # create a service account (optional)
- kubectl apply -f - << EOF
- apiVersion: v1
- kind: ServiceAccount
- metadata:
- name: envoy
- namespace: projectcontour
- EOF
- # add service account to envoy (optional)
- kubectl patch daemonset envoy -n projectcontour --type json -p='[{"op": "add", "path": "/spec/template/spec/serviceAccount", "value": "envoy"}]'
- # auto mount the service account token (required)
- kubectl patch daemonset envoy -n projectcontour --type json -p='[{"op": "replace", "path": "/spec/template/spec/automountServiceAccountToken", "value": true}]'
驗證您的 Contour 和 Envoy 安裝有一個正在運行的 Linkerd sidecar。
接下來我們將部署一個 demo service：
- linkerd inject https://projectcontour.io/examples/kuard.yaml | kubectl apply -f -
要將外部流量路由到您的服務，您需要提供一個 HTTPProxy：
- apiVersion: projectcontour.io/v1
- kind: HTTPProxy
- metadata:
- name: kuard
- namespace: default
- spec:
- routes:
- - requestHeadersPolicy:
- set:
- - name: l5d-dst-override
- value: kuard.default.svc.cluster.local:80
- services:
- - name: kuard
- namespace: default
- port: 80
- virtualhost:
- fqdn: 127.0.0.1.xip.io
請注意，l5d-dst-override header 顯式設置為目標 service。
最后，您可以測試您的 working service mesh ：
- kubectl port-forward svc/envoy -n projectcontour 3200:80
- http://127.0.0.1.xip.io:3200
如果您將 Contour 與 flagger 一起使用， l5d-dst-override 請求頭將自動設置。
Kong
Kong 不自動支持標頭 l5d-dst-override。本文檔將使用以下元素：
- Kong
- Emojivoto
在安裝 Emojivoto demo 應用程序之前，請在您的集群上安裝 Linkerd 和 Kong。記得在注入 Kong 部署時使用 上面 提到的 --ingress 標志(或注解)!
我們還需要聲明這些對象：
- KongPlugin，Kong 提供的 CRD
- Ingress
- apiVersion: configuration.konghq.com/v1
- kind: KongPlugin
- metadata:
- name: set-l5d-header
- namespace: emojivoto
- plugin: request-transformer
- config:
- add:
- headers:
- - l5d-dst-override:$(headers.host).svc.cluster.local
- ---
- apiVersion: extensions/v1beta1
- kind: Ingress
- metadata:
- name: web-ingress
- namespace: emojivoto
- annotations:
- kubernetes.io/ingress.class: "kong"
- konghq.com/plugins: set-l5d-header
- spec:
- rules:
- - http:
- paths:
- - path: /api/vote
- backend:
- serviceName: web-svc
- servicePort: http
- - path: /api/list
- backend:
- serviceName: web-svc
- servicePort: http
我們在 KongPlugin 中明確設置了 l5d-dst-override。使用 templates as values， 我們可以使用來自請求的 host header，并基于此設置 l5d-dst-override 值。
最后，讓我們安裝 Emojivoto，以便它的 deploy/vote-bot 以 ingress 為目標， 并包含 web-svc.emojivoto 服務的 host header。
在應用注入的(injected) Emojivoto 應用程序之前，對 vote-bot 部署進行以下更改：
- env:
- # Target the Kong ingress instead of the Emojivoto web service
- - name: WEB_HOST
- value: kong-proxy.kong:80
- # Override the host header on requests so that it can be used to set the l5d-dst-override header
- - name: HOST_OVERRIDE
- value: web-svc.emojivoto
【編輯推薦】
