如何使用 cri-docker 解決 Kubernetes 1.24 不支持 dockershim 的問題

作者：老段工作室 2022-09-13 12:03:39

雖然本文演示了 cri-docker 的使用，但是更推薦使用 Containerd 作為 Kubernetes 的容器運(yùn)行時(shí)。

從 Kubernetes 1.24 開始，dockershim 已經(jīng)從 kubelet 中移除，但因?yàn)闅v史問題 Docker 卻不支持 Kubernetes 主推的 CRI（容器運(yùn)行時(shí)接口）標(biāo)準(zhǔn)，所以 Docker 不能再作為 Kubernetes 的容器運(yùn)行時(shí)了，即從Kubernetes v1.24 開始不再使用 Docker了。

但是如果想繼續(xù)使用 Docker 的話，可以在 Kubelet 和 Docker 之間加上一個(gè)中間層 cri-docker。cri-docker 是一個(gè)支持 CRI 標(biāo)準(zhǔn)的 shim（墊片）。一頭通過 CRI 跟 Kubelet 交互，另一頭跟 Docker Api 交互，從而間接的實(shí)現(xiàn)了 Kubernetes 以 Docker 作為容器運(yùn)行時(shí)。但是這種架構(gòu)缺點(diǎn)也很明顯，調(diào)用鏈更長，效率更低。

雖然本文演示了 cri-docker 的使用，但是更推薦使用 Containerd 作為 Kubernetes 的容器運(yùn)行時(shí)。

實(shí)驗(yàn)環(huán)境

兩臺(tái)機(jī)器，vms41 和 vms42
系統(tǒng)：centos7.4
vms41 為 master，vms42 是worker

一. 所有節(jié)點(diǎn)的基本設(shè)置

1.1 所有節(jié)點(diǎn)設(shè)置好 /etc/hosts ,使它們之間能互相解析

[root@vms4X ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.26.41 vms41.rhce.cc vms41
192.168.26.42 vms42.rhce.cc vms42
[root@vms4X ~]#

1.2 在所有節(jié)點(diǎn)上關(guān)閉swap分區(qū)

[root@vms4X ~]# swapoff -a ; sed -i '/fstab/d' /etc/fstab  
[root@vms4X ~]#

1.3.在所有節(jié)點(diǎn)上更新yum源

[root@vms4X ~]#  rm -rf /etc/yum.repos.d/*  ; wget ftp://ftp.rhce.cc/k8s/* -P /etc/yum.repos.d/
[root@vms4X ~]# yum clean all
[root@vms4X ~]#

1.4 在所有節(jié)點(diǎn)安裝 Docker

節(jié)點(diǎn)安裝 docker-ce。

[root@vms4X ~]#  yum install docker-ce -y

在所有節(jié)點(diǎn)啟動(dòng) Docker 并設(shè)置開機(jī)自動(dòng)啟動(dòng)

[root@vms4X ~]# systemctl enable docker --now

所有節(jié)點(diǎn)設(shè)置 Docker加速器

cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://frz7i079.mirror.aliyuncs.com"],
   "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

所有節(jié)點(diǎn)重啟 Docker

[root@vms4X ~]#  systemctl restart docker

1.5 在所有節(jié)點(diǎn)安裝 cri-docker

到下面的鏈接下載最新版 cri-docker

https://github.com/Mirantis/cri-dockerd/tags

先在 vms41 上解壓出 cri-docker，然后拷貝到 vms42 上

[root@vms41 ~]# tar zxf cri-dockerd-0.2.1.amd64.tgz  
[root@vms41 ~]# cp cri-dockerd/cri-dockerd /usr/bin/
[root@vms41 ~]# scp /usr/bin/cri-dockerd vms42:/usr/bin/
root@vms42's password:  
cri-dockerd         100%   50MB 117.2MB/s   00:00    
[root@vms41 ~]#

1.6 設(shè)置系統(tǒng)參數(shù)

在所有機(jī)器上執(zhí)行下面的命令，目的是實(shí)現(xiàn)重啟系統(tǒng)后，參數(shù)也能繼續(xù)生效。

cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

讓上述參數(shù)立即生效。

[root@vms4X ~]# sysctl -p /etc/sysctl.d/k8s.conf
[root@vms4X ~]#

1.7 創(chuàng)建 cri-docker 啟動(dòng)文件

啟動(dòng)文件從下面鏈接找到:
https://github.com/Mirantis/cri-dockerd/tree/master/packaging/systemd

創(chuàng)建 cri-docker 啟動(dòng)文件:

[root@vms41 ~]# cat /usr/lib/systemd/system/cri-docker.service
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket
[Service]
Type=notify
ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.7
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
[root@vms41 ~]#

這里 /usr/bin/cri-dockerd 一定要加上參數(shù) -–pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.7，用來指定所用的 pause 鏡像是哪個(gè)，否則默認(rèn)拉取 k8s.gcr.io/pause:3.6，會(huì)導(dǎo)致安裝失敗。

創(chuàng)建啟動(dòng)文件：

[root@vms41 ~]# cat /usr/lib/systemd/system/cri-docker.socket
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service
[Socket]
ListenStream=%t/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker
[Install]
WantedBy=sockets.target
[root@vms41 ~]#

1.8 把啟動(dòng)腳本拷貝到 vms42 上：

[root@vms41 ~]# scp /usr/lib/systemd/system/cri-docker.socket /usr/lib/systemd/system/cri-docker.service vms42:/usr/lib/systemd/system/
root@vms42's password:  
cri-docker.socket          100%  204   103.1KB/s   00:00    
cri-docker.service         100%  605   822.7KB/s   00:00    
[root@vms41 ~]#

啟動(dòng) cri-docker 并設(shè)置開機(jī)自動(dòng)啟動(dòng)：

[root@vms41 ~]# systemctl daemon-reload ; systemctl enable cri-docker --now
Created symlink from /etc/systemd/system/multi-user.target.wants/cri-docker.service to /usr/lib/systemd/system/cri-docker.service.
[root@vms41 ~]#
[root@vms4X ~]# systemctl is-active cri-docker
active
[root@vms4X ~]#

二. 安裝 Kubernetes

2.1 查看當(dāng)前源里有哪些版本

[root@vms41 ~]#yum list --showduplicates kubeadm --disableexcludes=kubernetes

在本試驗(yàn)時(shí)最新的版本是 v1.24.1，所以本次就安裝 v1.24.1版本的。

2.2 所有節(jié)點(diǎn)上安裝軟件包：

[root@vms4X ~]#yum install -y kubelet-1.24.1-0 kubeadm-1.24.1-0 kubectl-1.24.1-0  --disableexcludes=kubernetes
[root@vms4X ~]#

2.3 所有節(jié)點(diǎn)上啟動(dòng) Kubelet 并設(shè)置開機(jī)自動(dòng)啟動(dòng)

[root@vms4X ~]# systemctl enable kubelet --now
Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /usr/lib/systemd/system/kubelet.service.
[root@vms4X ~]#

此時(shí) Kubelet 狀態(tài)是 activating 的，不是 active 的。

[root@vms41 ~]# systemctl is-active kubelet
activating
[root@vms41 ~]#

三.初始化 Kubernetes

3.1 在 master（vms41）上初始化集群

[root@vms41 ~]# kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.24.1 --pod-network-cidr=10.244.0.0/16 --cri-socket /var/run/cri-dockerd.sock

注意，這里需要添加選項(xiàng) -–cri-socket /var/run/cri-dockerd.sock

按提示創(chuàng)建 kubeconfig 文件。

[root@vms41 ~]# mkdir -p $HOME/.kube
[root@vms41 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@vms41 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@vms41 ~]#

3.2 把 worker 加入集群：

[root@vms42 ~]# kubeadm join 192.168.26.41:6443 --token l05cgf.kj5dvy5heki3jixt --discovery-token-ca-cert-hash sha256:07c1765ff4ac6eb2e54ed69fa57ca1afc728e825a6d4a11a83c96ff60ea545cd  --cri-socket /var/run/cri-dockerd.sock
[root@vms42 ~]#

注意，這里也要加上選項(xiàng) -–cri-socket /var/run/cri-dockerd.sock

切換到 master，查看節(jié)點(diǎn)：

[root@vms41 ~]# kubectl get nodes
NAME            STATUS     ROLES           AGE     VERSION
vms41.rhce.cc   NotReady   control-plane   4m12s   v1.24.1
vms42.rhce.cc   NotReady   <none>          13s     v1.24.1
[root@vms41 ~]#

四.安裝 Calico

4.1 下載最新版的 Calico 部署文件

[root@vms71 ~]# wget https://docs.projectcalico.org/manifests/calico.yaml

4.2 修改相應(yīng)配置

修改 calico.yaml 找到 CALICO_IPV4POOL_CIDR 按下面修改。

改成

4.3 安裝 Calico

在 vms41（master）上安裝 calico，不需要在 vms42 上做什么。

[root@vms41 ~]# kubectl apply -f calico.yaml
[root@vms41 ~]#

五.驗(yàn)證

5.1 在 vms41 上再次查看節(jié)點(diǎn)狀態(tài)：

[root@vms41 ~]# kubectl get nodes
NAME            STATUS   ROLES           AGE     VERSION
vms41.rhce.cc   Ready    control-plane   11m     v1.24.1
vms42.rhce.cc   Ready    <none>          7m20s   v1.24.1
[root@vms41 ~]#  
[root@vms41 ~]# kubectl get nodes -o wide
NAME            STATUS   ROLES           AGE     VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
vms41.rhce.cc   Ready    control-plane   11m     v1.24.1   192.168.26.41   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   docker://20.10.17
vms42.rhce.cc   Ready    <none>          7m23s   v1.24.1   192.168.26.42   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   docker://20.10.17
[root@vms41 ~]#

責(zé)任編輯：龐桂玉來源：奇妙的Linux世界