源碼解析 Kubectl Port-Forward 工作原理
本文的源碼基于 Kubernetes v1.24.0，容器運行時使用 Containerd 1.5，從源碼來分析 kubectl port-forward 的工作原理。
通過 port-forward 流程的分析，梳理出 kubectl -> api-server -> kubelet -> 容器運行時 的交互，了解 cri 的工作方式。
kubectl-port-forward
kubectl
簡單創(chuàng)建個 pod：
在執(zhí)行 kubectl forward 時添加參數(shù) -v 9 打印日志。
從日志可以看到請求的地址為 /api/v1/namespaces/default/pods/pipy/portforward，其中 portforward 為 pod 資源的子資源。
這里使用的協(xié)議是 spdy。
kubectl 此時會監(jiān)聽本地端口，同時使用 pod 子資源 portforward 的 url 創(chuàng)建到 api-server 的連接。
當本地端口有連接接入時，kubectl 會不斷地在兩個連接間拷貝數(shù)據(jù)。
參考源碼：
- staging/src/k8s.io/kubectl/pkg/cmd/portforward/portforward.go:389[1]
- staging/src/k8s.io/client-go/tools/portforward/portforward.go:242[2]
- staging/src/k8s.io/client-go/tools/portforward/portforward.go:330[3]
api-server
pod 的三個子資源 exec、attach 和 portforward，對這三個資源的操作都會代理有對應(yīng) node 的 kubetlet server 進行處理。
api-server 在接收到訪問 pod 子資源 portforward 的請求后，通過 pod 及其所在 node 的信息，獲取訪問該 node 上 kubelet server 的 url。
然后將訪問 pod 的 portforward 的請求，代理到 kubelet server。
參考源碼
- pkg/registry/core/pod/rest/subresources.go:185[4]
kubelet
portforward 請求來到了 pod 所在節(jié)點的 kubelet server，在 kubelet server 中，有幾個用于調(diào)試的 endpoint，portforward 便是其中之一：
- /run/{podNamespace}/{podID}/{containerName}
- /exec/{podNamespace}/{podID}/{containerName}
- /attach/{podNamespace}/{podID}/{containerName}
- /portforward/{podNamespace}/{podID}
- /containerLogs/{podNamespace}/{podID}/{containerName}
- /runningpods/
kubelet server 收到請求后，首先會通過 RuntimeServiceClient 發(fā)送 gRCP 請求到容器運行時的接口（/runtime.v1alpha2.RuntimeService/PortForward）獲取容器運行時 streaming server 處理 pordforward 請求的 url。
拿到 portforward streaming 的 url 之后，kubelet server 將請求代理到該 url。
參考源碼
- pkg/kubelet/server/server.go:463[5]
- pkg/kubelet/server/server.go:873[6]
- pkg/kubelet/cri/streaming/portforward/portforward.go:46[7]
- pkg/kubelet/cri/streaming/server.go:111[8]
cri
這里以 Containerd 為例。
Containerd 在啟動時會啟動 runtime service 和 image service。前者是負責容器相關(guān)的操作，后者負責鏡像相關(guān)的操作。
kubelet 獲取用于端口轉(zhuǎn)發(fā)的 streaming url，就是調(diào)用了 runtime service 的 gRPC 接口完成的。
除了兩個 gRPC service 以外，還加載了一系列插件。這些插件中，其中有一個是 cri service。
cri service 會啟動 streaming server。這個 server 會響應(yīng) /exec、/attach 和 /portforward 的 stream 請求。
portforward 支持兩種操作系統(tǒng) linux 和 windows：sandbox_portforward_linux.go 和 sandbox_portforward_windows.go。
在 linux 上，在 pod 所在的 network namespace 中使用地址 localhost 創(chuàng)建到目標端口的連接。然后在 streaming server 的連接和該連接之間拷貝數(shù)據(jù)，完成數(shù)據(jù)的傳遞。
在 windows 上，是通過 wincat.exe 使用地址 127.0.0.1 創(chuàng)建到目標端口的連接。
參考源碼
- pkg/cri/streaming/server.go:149[9]
- pkg/cri/server/streaming.go:69[10]
- pkg/cri/server/service.go:138[11]
- pkg/cri/server/sandbox_portforward_linux.go:34[12]
總結(jié)
結(jié)合源碼分析對 port-foward 工作原理的梳理，相信對 cri 的工作方式也有了一定的了解。本文是以容器運行時 Containerd 為例，不同的容器運行時雖然實現(xiàn)了 cri，但是實現(xiàn)的細節(jié)上也會有所差異。
比如在 port-forward 的實現(xiàn)上，Kubernetes v1.23.0 版本中的 docker shim（1.24 中被移除）[13] 中，是使用nsenter 進入 pod 所在的 network namespace 中通過 socat 完成的端口轉(zhuǎn)發(fā)。
參考資料
[1] staging/src/k8s.io/kubectl/pkg/cmd/portforward/portforward.go:389: https://github.com/kubernetes/kubernetes/tree/release-1.24/staging/src/k8s.io/kubectl/pkg/cmd/portforward/portforward.go#L389
[2] staging/src/k8s.io/client-go/tools/portforward/portforward.go:242: https://github.com/kubernetes/kubernetes/tree/release-1.24/staging/src/k8s.io/client-go/tools/portforward/portforward.go#L242
[3] staging/src/k8s.io/client-go/tools/portforward/portforward.go:330: https://github.com/kubernetes/kubernetes/tree/release-1.24/staging/src/k8s.io/client-go/tools/portforward/portforward.go#L330
[4] pkg/registry/core/pod/rest/subresources.go:185: https://github.com/kubernetes/kubernetes/tree/release-1.24/pkg/registry/core/pod/rest/subresources.go#L185
[5] pkg/kubelet/server/server.go:463: https://github.com/kubernetes/kubernetes/tree/release-1.24/pkg/kubelet/server/server.go#L463
[6] pkg/kubelet/server/server.go:873: https://github.com/kubernetes/kubernetes/tree/release-1.24/pkg/kubelet/server/server.go#L873
[7] pkg/kubelet/cri/streaming/portforward/portforward.go:46: https://github.com/kubernetes/kubernetes/tree/release-1.24/pkg/kubelet/cri/streaming/portforward/portforward.go#L46
[8] pkg/kubelet/cri/streaming/server.go:111: https://github.com/kubernetes/kubernetes/tree/release-1.24/pkg/kubelet/cri/streaming/server.go#L111
[9] pkg/cri/streaming/server.go:149: https://github.com/containerd/containerd/tree/release/1.5/pkg/cri/streaming/server.go#L149
[10] pkg/cri/server/streaming.go:69: https://github.com/containerd/containerd/tree/release/1.5/pkg/cri/server/streaming.go#L69
[11] pkg/cri/server/service.go:138: https://github.com/containerd/containerd/tree/release/1.5/pkg/cri/server/service.go#L138
[12] pkg/cri/server/sandbox_portforward_linux.go:34: https://github.com/containerd/containerd/tree/release/1.5/pkg/cri/server/sandbox_portforward_linux.go#L34
[13] Kubernetes v1.23.0 版本中的 docker shim（1.24 中被移除）: https://github.com/kubernetes/kubernetes/blob/release-1.23/pkg/kubelet/dockershim/docker_streaming_others.go#L43
