問題排查太煩心，試試GPT的超能力
當(dāng)你使用 Kubernetes 時，遲早會遇到集群中的問題，需要進(jìn)行調(diào)試和修復(fù)，以便你的 Pod 和服務(wù)能夠按預(yù)期運(yùn)行。無論你是剛剛開始使用 Kubernetes 還是正在處理大規(guī)模且更復(fù)雜的環(huán)境，調(diào)試集群內(nèi)進(jìn)程并不總是那么簡單，而且可能會成為一項耗時且困難的任務(wù)。
云原生環(huán)境中有多種可用的調(diào)試解決方案，可幫助你訪問集群內(nèi)信息。然而，其中大多數(shù)不提供上下文信息。
在這篇博文中，我將向你介紹K8sGPT，這個項目旨在為所有人提供 Kubernetes 的超能力。
K8sGPT 的應(yīng)用場景
概述
K8sGPT于2023年4月由一群云原生生態(tài)系統(tǒng)中經(jīng)驗豐富的工程師啟動。它是一個完全開源的項目。K8sGPT 背后的主要思想是利用 AI 模型提供 Kubernetes 錯誤消息以及其他集群見解的詳細(xì)且情境化的解釋。
圖片
此外，該項目已被兩個組織在生產(chǎn)中使用，并已申請成為 CNCF 沙箱項目。從長遠(yuǎn)來看，該項目的目標(biāo)是為 Kubernetes 構(gòu)建面向任務(wù)的機(jī)器學(xué)習(xí)模型。
該項目已經(jīng)支持多種安裝選項和不同的人工智能后端。在這篇博文中，我將向你展示如何安裝和開始使用 K8sGPT、CLI 工具和 Operator，以及 K8sGPT 如何支持其他集成。
安裝
根據(jù)你的偏好和操作系統(tǒng)，有多種安裝選項可用。你可以在K8sGPT文檔的安裝部分找到不同的選項。
如下所述安裝 K8sGPT 的先決條件是在 Mac 上安裝Homebrew或在 Windows 計算機(jī)上安裝 WSL。
接下來，你可以運(yùn)行以下命令：
brew tap k8sgpt-ai/k8sgpt
brew install k8sgpt其他安裝選項
基于 RPM 的安裝 (RedHat/CentOS/Fedora)
32位：
curl -LO https://github.com/k8sgpt-ai/k8sgpt/releases/download/v0.3.6/k8sgpt_386.rpm
sudo rpm -ivh k8sgpt_386.rpm64 位：
curl -LO https://github.com/k8sgpt-ai/k8sgpt/releases/download/v0.3.6/k8sgpt_amd64.rpm
sudo rpm -ivh -i k8sgpt_amd64.rpm基于 DEB 的安裝 (Ubuntu/Debian)
32位：
curl -LO https://github.com/k8sgpt-ai/k8sgpt/releases/download/v0.3.6/k8sgpt_386.deb
sudo dpkg -i k8sgpt_386.deb64 位：
curl -LO https://github.com/k8sgpt-ai/k8sgpt/releases/download/v0.3.6/k8sgpt_amd64.deb
sudo dpkg -i k8sgpt_amd64.deb要驗證 K8sGPT 是否安裝正確，你可以檢查安裝的版本：
k8sgpt version
k8sgpt: 0.3.6 (9c0efe6), built at: unknownK8sGPT CLI
要查看 K8sGPT 提供的所有命令，請使用 --help 標(biāo)志：
k8sgpt --help接下來，我們必須授權(quán)AI后端。在本文中，我們將使用 OpenAI。
先決條件
遵循下一節(jié)的先決條件是擁有一個OpneAI 帳戶和一個正在運(yùn)行的 Kubernetes 集群，例如 microk8s 或 minikube 就足夠了。
擁有 OpneAI 帳戶后，你需要訪問這個地址https://platform.openai.com/account/api-keys生成新的 API 密鑰
或者，你可以運(yùn)行以下命令，K8sGPT 將在默認(rèn)瀏覽器中打開同一地址：
k8sgpt generateK8sGPT 與 OpenAI 交互需要此密鑰。使用新創(chuàng)建的 API 密鑰/令牌授權(quán) K8sGPT：
k8sgpt auth add openai
Enter openai Key: openai added to the AI backend provider list你可以使用以下命令列出你的后端：
k8sgpt auth list
Default:
> openai
Active:
> openai
Unused:
> localai
> azureopenai
> noopai接下來，我們將在 Kubernetes 集群中部署一個異常的Deployment，Pod 將成為CrashLoopBackOff狀態(tài)。以下是 YAML：
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
labels:
app: nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.14.2
ports:
- containerPort: 80
securityContext:
readOnlyRootFilesystem: true接下來，我們將為示例應(yīng)用程序創(chuàng)建demo命名空間并安裝部署：
kubectl create ns demo
namespace/demo created
kubectl apply -f ./deployment.yaml -n demo
deployment.apps/nginx-deployment created現(xiàn)在你將看到我們的演示命名空間中的 Pod 拋出錯誤：
圖片
如果我們查看其中一個 pod 的事件，但是我們不知道具體問題原因：
Warning BackOff 3s (x8 over 87s) kubelet Back-off restarting failed container因此，我們可以運(yùn)行 K8sGPT 命令來訪問有關(guān)這些 pod 出錯原因的更多詳細(xì)信息：
k8sgpt analyse這將向我們展示 k8sGPT 在集群中發(fā)現(xiàn)的問題：
AI Provider: openai
0 demo/nginx-deployment-5f4c7db77b-hq74n(Deployment/nginx-deployment)
- Error: back-off 1m20s restarting failed cnotallow=nginx pod=nginx-deployment-5f4c7db77b-hq74n_demo(7854b793-21b7-4f81-86e5-dbb4113f64f4)
1 demo/nginx-deployment-5f4c7db77b-phbq8(Deployment/nginx-deployment)
- Error: back-off 1m20s restarting failed cnotallow=nginx pod=nginx-deployment-5f4c7db77b-phbq8_demo(74038531-e362-45a6-a436-cf1a6ea46d8a)
2 demo/nginx-deployment-5f4c7db77b-shkw6(Deployment/nginx-deployment)
- Error: back-off 1m20s restarting failed cnotallow=nginx pod=nginx-deployment-5f4c7db77b-shkw6_demo(2603f332-3e1c-45da-8080-e34dd6d956ad)要接收更多信息以及有關(guān)如何解決問題的建議，我們可以使用以下--explain標(biāo)志：
k8sgpt analyse --explain附加功能
根據(jù)你的集群大小和 K8sGPT 在集群中識別的問題數(shù)量，你還可以按特定命名空間和工作負(fù)載類型進(jìn)行過濾。
此外，如果你或你的組織擔(dān)心 OpenAI 或其他后端接收有關(guān)你的工作負(fù)載的敏感信息，你可以使用--anonymize規(guī)避應(yīng)用的敏感信息。
與其他工具的集成
云原生生態(tài)系統(tǒng)中大多數(shù)工具的價值源于它們與其他工具的集成程度。
在撰寫本文時，K8sGPT 提供了與 Gafana 和 Prometheus 等可觀察性工具的輕松集成。此外，還可以為 K8sGPT 編寫插件。維護(hù)者提供的第一個插件是Trivy，一個一體化的云原生安全掃描器。
你可以使用以下命令列出所有可用的集成：
k8sgpt integration list
Active:
Unused:
> trivy接下來，我們要激活 Trivy 集成：
k8sgpt integration activate trivy這將在集群內(nèi)安裝 Trivy Operator（如果尚未安裝）：
圖片
激活集成后，我們可以通過 k8sgpt 過濾器，使用 Trivy 創(chuàng)建的漏洞報告作為 K8sGPT 分析的一部分：
? k8sgpt filters list
Active:
> Pod
> VulnerabilityReport (integration)
Unused:
> Deployment
> ReplicaSet
> Node
> Service
> Ingress
> StatefulSet
> CronJob
> PersistentVolumeClaim
> HorizontalPodAutoScaler
> PodDisruptionBudget
> NetworkPolicy過濾器對應(yīng)于 k8sgpt 代碼中的特定分析器。分析器僅查看相關(guān)信息，例如最關(guān)鍵的漏洞。
要使用 VulnerabilityReport 過濾器，請使用以下命令：
k8sgpt analyse --filter=VulnerabilityReport(FIXME)與之前類似，我們也可以要求 K8sGPT 對掃描提供進(jìn)一步的解釋：
k8sgpt analyse --filter=VulnerabilityReport --explainK8sGPT Operator
雖然 CLI 工具為集群管理員提供了對其基礎(chǔ)設(shè)施和工作負(fù)載執(zhí)行即席掃描的功能，但 K8sGPT Operator 在集群中全天候 (24/7) 運(yùn)行。它是 Kubernetes 原生的，這意味著它作為 Kubernetes 自定義資源運(yùn)行，并生成作為 YAML 清單存儲在集群中的報告。
要安裝 Operator，請按照以下命令進(jìn)行操作：
helm repo add k8sgpt https://charts.k8sgpt.ai/
helm repo update
helm install release k8sgpt/k8sgpt-operator -n k8sgpt-operator-system --create-namespace如果你想將 K8sGPT 與 Prometheus 和 Grafana 集成，你可以通過向上面的安裝提供values.yaml 清單來使用略有不同的安裝：
serviceMonitor:
enabled: true
GrafanaDashboard:
enabled: true然后安裝 Operator 或更新現(xiàn)有安裝：
helm install release k8sgpt/k8sgpt-operator -n k8sgpt-operator-system --create-namespace --values values.yaml在本例中，我們告訴 K8sGPT 還安裝一個 ServiceMonitor，它將掃描報告中的指標(biāo)發(fā)送到 Prometheus，并為 K8sGPT 創(chuàng)建一個儀表板。如果你使用了此安裝，則還需要安裝 kube-prometheus-stack Helm Chart 才能訪問 Grafana 和 Prometheus。這可以通過以下命令來完成：
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install prom prometheus-community/kube-prometheus-stack -n k8sgpt-operator-system --set prometheus.prometheusSpec.serviceMonitorSelectorNilUsesHelmValues=false此時，你應(yīng)該在集群內(nèi)運(yùn)行 K8sGPT Operator 和 Prometheus Stack Helm Chart（也是 Kubernetes Operator）。
與我們需要向 CLI 提供 OpenAI API 密鑰的方式類似，我們需要使用 API 密鑰創(chuàng)建 Kubernetes 密鑰。為此，請使用與之前相同的密鑰，或者在你的 OpenAI 帳戶上生成一個新密鑰。
要生成 Kubernetes 密鑰，請將你的 OpenAI 密鑰粘貼到以下命令中：
export OPENAI_TOKEN=<YOUR API KEY HERE>
kubectl create secret generic k8sgpt-sample-secret --from-literal=openai-api-key=$OPENAI_TOKEN -n k8sgpt-operator-system然后，我們需要配置 K8sGPT Operator 以了解要使用哪個版本的 K8sGPT 以及哪個 AI 后端：
apiVersion: core.k8sgpt.ai/v1alpha1
kind: K8sGPT
metadata:
name: k8sgpt-sample
spec:
model: gpt-3.5-turbo
backend: openai
noCache: false
version: v0.3.2
enableAI: true
secret:
name: k8sgpt-sample-secret
key: openai-api-key現(xiàn)在，我們需要將此文件應(yīng)用到我們的 K8sGPT 集群命名空間：
kubectl apply -f k8sgpt-resource.yaml -n k8sgpt-operator-system幾秒鐘內(nèi)，Operator 將創(chuàng)建新結(jié)果：
kubectl get results -n k8sgpt-operator-system以下是不同命令的屏幕截圖，你可以按照這些命令從 K8sGPT Operator 查看結(jié)果報告：
從 K8sGPT Operator 查看結(jié)果報告
最后，我們將看一下 Grafana 儀表板。端口轉(zhuǎn)發(fā) Grafana 服務(wù)以通過 localhost 訪問它：
kubectl port-forward service/prom-grafana -n prom 3000:80打開 localhost:3000，然后導(dǎo)航到 Dashboards>K8sGPT Overview，然后你將看到包含結(jié)果的儀表板：
Grafana 中的 K8sGPT 儀表板
參考
- 1. https://k8sgpt.ai/
- 2. https://docs.k8sgpt.ai/
- 3. https://github.com/k8sgpt-ai
