前置知識：

• WASM：WebAssembly（縮寫為Wasm）是一種低級的、與平臺無關(guān)的二進(jìn)制指令格式，是一種新型的虛擬機(jī)技術(shù)，可以在現(xiàn)代Web瀏覽器中運行，并且可以與JavaScript等其他Web技術(shù)一起使用。它被設(shè)計為一種可移植的編譯目標(biāo)，能夠?qū)⒉煌幊陶Z言的代碼編譯成WebAssembly字節(jié)碼，這些字節(jié)碼可以在Web瀏覽器中快速加載和執(zhí)行。

WebAssembly的設(shè)計目標(biāo)是為了解決Web上應(yīng)用程序的性能問題，尤其是在使用JavaScript等高級語言編寫的復(fù)雜Web應(yīng)用中。相比于JavaScript等腳本語言，WebAssembly的執(zhí)行速度更快，且能夠提供更好的性能和安全性，同時也更加適合進(jìn)行密集計算和高性能圖形處理等操作。除了在Web瀏覽器中使用，WebAssembly還可以在其他環(huán)境中運行，如桌面應(yīng)用程序、移動應(yīng)用程序等，因此它也被認(rèn)為是一種通用的、可移植的虛擬機(jī)技術(shù)。

A stack-based virtual machine is a type of virtual machine architecture in which the operands for instructions are pushed onto a stack, and the instructions themselves operate on the top elements of the stack. In other words, the virtual machine uses a stack to store data and operands, and the instructions are executed based on the data at the top of the stack.

• WASI：WebAssembly System Interface（縮寫為WASI）是一個標(biāo)準(zhǔn)化的API接口，它提供了一種通用的系統(tǒng)接口，使得WebAssembly程序能夠在不同的操作系統(tǒng)和硬件平臺上運行，并能夠訪問底層操作系統(tǒng)的資源和功能，如文件系統(tǒng)、網(wǎng)絡(luò)、定時器等。
• eBPF：（Extended Berkeley Packet Filter）是一個內(nèi)核級別的虛擬機(jī)技術(shù)，它可以動態(tài)地注入用戶自定義的程序代碼到內(nèi)核中運行并關(guān)聯(lián)事件，并在不修改內(nèi)核源代碼的情況下增強內(nèi)核的功能。eBPF 可以監(jiān)控和分析內(nèi)核和用戶空間的事件，從而實現(xiàn)高效的性能分析、網(wǎng)絡(luò)抓包、安全監(jiān)控和資源管理等功能。

eBPF 能夠工作的原理是通過在內(nèi)核中注冊各種鉤子函數(shù)，這些鉤子函數(shù)會在特定的事件發(fā)生時被觸發(fā)，并執(zhí)行 eBPF 程序來處理這些事件。eBPF 程序是一種特殊的字節(jié)碼格式，可以在用戶空間編寫，然后通過內(nèi)核的加載器加載到內(nèi)核中運行。eBPF 程序可以訪問內(nèi)核中的數(shù)據(jù)結(jié)構(gòu)，并對數(shù)據(jù)進(jìn)行修改或過濾。

在云原生環(huán)境下，ebpf更有優(yōu)勢。

可關(guān)聯(lián)event類型：

Entry to/Exit from Functions：kprobe，kretprobe，uprobe，uretprobe
Tracepoints：/sys/kernel/debug/tracing/events
Perf Events
Linux Security Module Interface
Network Interfaces：XDP
Sockets and Other Networking Hooks

• Bcc：bcc（BPF Compiler Collection）是一個用于生成eBPF（extended Berkeley Packet Filter）程序的工具集，它提供了一組高級工具和庫，使得用戶可以輕松地編寫和調(diào)試eBPF程序。

Starship的架構(gòu)

1、agent

├── cmd 入口函數(shù)

├── deployer 部署eBpf+wasm模塊

├── driver 運行模塊

├── ebpf eBpf相關(guān)

├── proc-info 收集process信息

└── wasm wasm處理信息

兩大塊功能：

1、模塊管理，模塊指的是eBpf+wasm。

2、進(jìn)程信息上報。

Agent的標(biāo)識是NodeName和agent PodID。這兩個是從kubernetes注入的：

另外，還掛載了主機(jī)的/和/sys，用于bcc工具和process監(jiān)控。

因為要使用ebpf program和監(jiān)控進(jìn)程，所以需要特權(quán)。

Agent啟動后，首先會清除之前部署過的TricorderProbes trap。然后，程序使用 linux_headers 包中的 Init 函數(shù)初始化 BCC 的 Linux 頭文件。之后，grpc連接到api-server、連接到pg、開啟循環(huán)獲取process信息、開啟循環(huán)處理module的deploy處理。

由于agent容器掛載了主機(jī)的/sys路徑，因此可以收集節(jié)點上所有的進(jìn)程信息。在這種情況下，grabProcessInfo函數(shù)將搜索主機(jī)的/sys/fs/cgroup目錄，因此，它將能夠收集節(jié)點上所有進(jìn)程的信息。

當(dāng)部署一個module后，會開啟輪詢：1.從eBPF中讀取數(shù)據(jù)。2.將數(shù)據(jù)復(fù)制到WASM中。3.從WASM中讀取結(jié)果。4.將json結(jié)果寫入pg。

2、api-server

├── cmd 入口函數(shù)

├── grpc 處理deploy和process的grpc調(diào)用

├── http 定義http路由，dao

├── meta 原生kubernetes監(jiān)控資源

├── pb protobuf定義

├── testing 測試

├── utils 工具

└── wasm 編譯

目前部署為StatefulSet，但是卷類型是emptyDir，也就是每次會新建一個tricorder.db文件。

然后啟動的時候進(jìn)行初始化。

Api-server主要功能有：agent管理，管理模塊的部署，獲取節(jié)點進(jìn)程信息，數(shù)據(jù)展示，數(shù)據(jù)持久化(sqlite)。

在部署模塊時，各agent的moduleInstance持久化保存成功后，會觸發(fā)cond條件，這時才會去各agent去部署。同時，會在pg創(chuàng)建相應(yīng)的數(shù)據(jù)表，供agent進(jìn)行數(shù)據(jù)存儲。

在api-server的部署中，使用名為api-server的sa，這個sa具備所有resource的權(quán)限。

Api-server同時監(jiān)測原生kubernetes資源，目前有：

這些資源是通過informer監(jiān)測的，api-server會將監(jiān)測信息同步至pg。

Api-server會使用pod informer監(jiān)測各節(jié)點的pod，然后將這些容器id發(fā)給agent進(jìn)行processInfo獲取，獲取后，由api-server存儲至pg。