LXD 2.0 系列（四）：資源控制

作者：Stéphane Graber 2016-12-29 11:01:03

系統(tǒng) Linux 系統(tǒng)運(yùn)維

這是 LXD 2.0 系列介紹文章的第四篇。因?yàn)?LXD 容器管理有很多命令，因此這篇文章會(huì)很長。如果你想要快速地瀏覽這些相同的命令，你可以嘗試下我們的在線演示!

這是 LXD 2.0 系列介紹文章的第四篇。

LXD 入門
安裝與配置
你的***個(gè) LXD 容器

因?yàn)?LXD 容器管理有很多命令，因此這篇文章會(huì)很長。如果你想要快速地瀏覽這些相同的命令，你可以嘗試下我們的在線演示!

[[180144]]

可用資源限制

LXD 提供了各種資源限制。其中一些與容器本身相關(guān)，如內(nèi)存配額、CPU 限制和 I/O 優(yōu)先級(jí)。而另外一些則與特定設(shè)備相關(guān)，如 I/O 帶寬或磁盤用量限制。

與所有 LXD 配置一樣，資源限制可以在容器運(yùn)行時(shí)動(dòng)態(tài)更改。某些可能無法啟用，例如，如果設(shè)置的內(nèi)存值小于當(dāng)前內(nèi)存用量，但 LXD 將會(huì)試著設(shè)置并且報(bào)告失敗。

所有的限制也可以通過配置文件繼承，在這種情況下每個(gè)受影響的容器將受到該限制的約束。也就是說，如果在默認(rèn)配置文件中設(shè)置 limits.memory=256MB，則使用默認(rèn)配置文件(通常是全都使用)的每個(gè)容器的內(nèi)存限制為 256MB。

我們不支持資源限制池，將其中的限制由一組容器共享，因?yàn)槲覀儧]有什么好的方法通過現(xiàn)有的內(nèi)核 API 實(shí)現(xiàn)這些功能。

磁盤

這或許是最需要和最明顯的需求。只需設(shè)置容器文件系統(tǒng)的大小限制，并對(duì)容器強(qiáng)制執(zhí)行。

LXD 確實(shí)可以讓你這樣做!

不幸的是，這比它聽起來復(fù)雜得多。 Linux 沒有基于路徑的配額，而大多數(shù)文件系統(tǒng)只有基于用戶和組的配額，這對(duì)容器沒有什么用處。

如果你正在使用 ZFS 或 btrfs 存儲(chǔ)后端，這意味著現(xiàn)在 LXD 只能支持磁盤限制。也有可能為 LVM 實(shí)現(xiàn)此功能，但這取決于與它一起使用的文件系統(tǒng)，并且如果結(jié)合實(shí)時(shí)更新那會(huì)變得棘手起來，因?yàn)椴⒉皇撬械奈募到y(tǒng)都允許在線增長，而幾乎沒有一個(gè)允許在線收縮。

CPU

當(dāng)涉及到 CPU 的限制，我們支持 4 種不同的東西：

只給我 X 個(gè) CPU 核心

在這種模式下，你讓 LXD 為你選擇一組核心，然后為更多的容器和 CPU 的上線/下線提供負(fù)載均衡。

容器只看到這個(gè)數(shù)量的 CPU 核心。

給我一組特定的 CPU 核心(例如，核心1、3 和 5)

類似于***種模式，但是不會(huì)做負(fù)載均衡，你會(huì)被限制在那些核心上，無論它們有多忙。

給我你擁有的 20% 處理能力

在這種模式下，你可以看到所有的 CPU，但調(diào)度程序?qū)⑾拗颇闶褂?20% 的 CPU 時(shí)間，但這只有在負(fù)載狀態(tài)才會(huì)這樣!所以如果系統(tǒng)不忙，你的容器可以跑得很歡。而當(dāng)其他的容器也開始使用 CPU 時(shí)，它會(huì)被限制用量。

每測(cè)量 200ms，給我 50ms(并且不超過)

此模式與上一個(gè)模式類似，你可以看到所有的 CPU，但這一次，無論系統(tǒng)可能是多么空閑，你只能使用你設(shè)置的極限時(shí)間下的盡可能多的 CPU 時(shí)間。在沒有過量使用的系統(tǒng)上，這可使你可以非常整齊地分割 CPU，并確保這些容器的持續(xù)性能。

另外還可以將前兩個(gè)中的一個(gè)與***兩個(gè)之一相結(jié)合，即請(qǐng)求一組 CPU，然后進(jìn)一步限制這些 CPU 的 CPU 時(shí)間。

除此之外，我們還有一個(gè)通用的優(yōu)先級(jí)調(diào)節(jié)方式，可以告訴調(diào)度器當(dāng)你處于負(fù)載狀態(tài)時(shí)，兩個(gè)爭(zhēng)奪資源的容器誰會(huì)取得勝利。

內(nèi)存

內(nèi)存聽起來很簡(jiǎn)單，就是給我多少 MB 的內(nèi)存!

它絕對(duì)可以那么簡(jiǎn)單。我們支持這種限制以及基于百分比的請(qǐng)求，比如給我 10% 的主機(jī)內(nèi)存!

另外我們?cè)谏蠈又С忠恍╊~外的東西。例如，你可以選擇在每個(gè)容器上打開或者關(guān)閉 swap，如果打開，還可以設(shè)置優(yōu)先級(jí)，以便你可以選擇哪些容器先將內(nèi)存交換到磁盤!

內(nèi)存限制默認(rèn)是“hard”。也就是說，當(dāng)內(nèi)存耗盡時(shí)，內(nèi)核將會(huì)開始?xì)⒌裟愕哪切┻M(jìn)程。

或者，你可以將強(qiáng)制策略設(shè)置為“soft”，在這種情況下，只要沒有別的進(jìn)程的情況下，你將被允許使用盡可能多的內(nèi)存。一旦別的進(jìn)程想要這塊內(nèi)存，你將無法分配任何內(nèi)存，直到你低于你的限制或者主機(jī)內(nèi)存再次有空余。

網(wǎng)絡(luò) I/O

網(wǎng)絡(luò) I/O 可能是我們看起來最簡(jiǎn)單的限制，但是相信我，實(shí)現(xiàn)真的不簡(jiǎn)單!

我們支持兩種限制。 ***個(gè)是對(duì)網(wǎng)絡(luò)接口的速率限制。你可以設(shè)置入口和出口的限制，或者只是設(shè)置“***”限制然后應(yīng)用到出口和入口。這個(gè)只支持“橋接”和“p2p”類型接口。

第二種是全局網(wǎng)絡(luò) I/O 優(yōu)先級(jí)，僅當(dāng)你的網(wǎng)絡(luò)接口趨于飽和的時(shí)候再使用。

塊 I/O

我把最古怪的放在***。對(duì)于用戶看起來它可能簡(jiǎn)單，但有一些情況下，它的結(jié)果并不會(huì)和你的預(yù)期一樣。

我們?cè)谶@里支持的基本上與我在網(wǎng)絡(luò) I/O 中描述的相同。

你可以直接設(shè)置磁盤的讀寫 IO 的頻率和速率，并且有一個(gè)全局的塊 I/O 優(yōu)先級(jí)，它會(huì)通知 I/O 調(diào)度程序更傾向哪個(gè)。

古怪的是如何設(shè)置以及在哪里應(yīng)用這些限制。不幸的是，我們用于實(shí)現(xiàn)這些功能的底層使用的是完整的塊設(shè)備。這意味著我們不能為每個(gè)路徑設(shè)置每個(gè)分區(qū)的 I/O 限制。

這也意味著當(dāng)使用可以支持多個(gè)塊設(shè)備映射到指定的路徑(帶或者不帶 RAID)的 ZFS 或 btrfs 時(shí)，我們并不知道這個(gè)路徑是哪個(gè)塊設(shè)備提供的。

這意味著，完全有可能，實(shí)際上確實(shí)有可能，容器使用的多個(gè)磁盤掛載點(diǎn)(綁定掛載或直接掛載)可能來自于同一個(gè)物理磁盤。

這就使限制變得很奇怪。為了使限制生效，LXD 具有猜測(cè)給定路徑所對(duì)應(yīng)塊設(shè)備的邏輯，這其中包括詢問 ZFS 和 btrfs 工具，甚至可以在發(fā)現(xiàn)一個(gè)文件系統(tǒng)中循環(huán)掛載的文件時(shí)遞歸地找出它們。

這個(gè)邏輯雖然不***，但通常會(huì)找到一組應(yīng)該應(yīng)用限制的塊設(shè)備。LXD 接著記錄并移動(dòng)到下一個(gè)路徑。當(dāng)遍歷完所有的路徑，然后到了非常奇怪的部分。它會(huì)平均你為相應(yīng)塊設(shè)備設(shè)置的限制，然后應(yīng)用這些。

這意味著你將在容器中“平均”地獲得正確的速度，但這也意味著你不能對(duì)來自同一個(gè)物理磁盤的“/fast”和一個(gè)“/slow”目錄應(yīng)用不同的速度限制。 LXD 允許你設(shè)置它，但***，它會(huì)給你這兩個(gè)值的平均值。

它怎么工作?

除了網(wǎng)絡(luò)限制是通過較舊但是良好的“tc”實(shí)現(xiàn)的，上述大多數(shù)限制是通過 Linux 內(nèi)核的 cgroup API 來實(shí)現(xiàn)的。

LXD 在啟動(dòng)時(shí)會(huì)檢測(cè)你在內(nèi)核中啟用了哪些 cgroup，并且將只應(yīng)用你的內(nèi)核支持的限制。如果你缺少一些 cgroup，守護(hù)進(jìn)程會(huì)輸出警告，接著你的 init 系統(tǒng)將會(huì)記錄這些。

在 Ubuntu 16.04 上，默認(rèn)情況下除了內(nèi)存交換審計(jì)外將會(huì)啟用所有限制，內(nèi)存交換審計(jì)需要你通過swapaccount = 1這個(gè)內(nèi)核引導(dǎo)參數(shù)來啟用。

應(yīng)用這些限制

上述所有限制都能夠直接或者用某個(gè)配置文件應(yīng)用于容器。容器范圍的限制可以使用：

lxc config set CONTAINER KEY VALUE

或?qū)τ谂渲梦募O(shè)置：

lxc profile set PROFILE KEY VALUE

當(dāng)指定特定設(shè)備時(shí)：

lxc config device set CONTAINER DEVICE KEY VALUE

或?qū)τ谂渲梦募O(shè)置：

lxc profile device set PROFILE DEVICE KEY VALUE

有效配置鍵、設(shè)備類型和設(shè)備鍵的完整列表可以看這里。

CPU

要限制使用任意兩個(gè) CPU 核心可以這么做：

lxc config set my-container limits.cpu 2

要指定特定的 CPU 核心，比如說第二和第四個(gè)：

lxc config set my-container limits.cpu 1,3

更加復(fù)雜的情況還可以設(shè)置范圍：

lxc config set my-container limits.cpu 0-3,7-11

限制實(shí)時(shí)生效，你可以看下面的例子：

stgraber@dakara:~$ lxc exec zerotier -- cat /proc/cpuinfo | grep ^proces 
processor : 0 
processor : 1 
processor : 2 
processor : 3 
stgraber@dakara:~$ lxc config set zerotier limits.cpu 2 
stgraber@dakara:~$ lxc exec zerotier -- cat /proc/cpuinfo | grep ^proces 
processor : 0 
processor : 1

注意，為了避免完全混淆用戶空間，lxcfs 會(huì)重排 /proc/cpuinfo 中的條目，以便沒有錯(cuò)誤。

就像 LXD 中的一切，這些設(shè)置也可以應(yīng)用在配置文件中：

stgraber@dakara:~$ lxc exec snappy -- cat /proc/cpuinfo | grep ^proces 
processor : 0 
processor : 1 
processor : 2 
processor : 3 
stgraber@dakara:~$ lxc profile set default limits.cpu 3 
stgraber@dakara:~$ lxc exec snappy -- cat /proc/cpuinfo | grep ^proces 
processor : 0 
processor : 1 
processor : 2

要限制容器使用 10% 的 CPU 時(shí)間，要設(shè)置下 CPU allowance：

lxc config set my-container limits.cpu.allowance 10%

或者給它一個(gè)固定的 CPU 時(shí)間切片：

lxc config set my-container limits.cpu.allowance 25ms/200ms

***，要將容器的 CPU 優(yōu)先級(jí)調(diào)到***：

lxc config set my-container limits.cpu.priority 0

內(nèi)存

要直接應(yīng)用內(nèi)存限制運(yùn)行下面的命令：

lxc config set my-container limits.memory 256MB

(支持的后綴是 KB、MB、GB、TB、PB、EB)

要關(guān)閉容器的內(nèi)存交換(默認(rèn)啟用)：

lxc config set my-container limits.memory.swap false

告訴內(nèi)核首先交換指定容器的內(nèi)存：

lxc config set my-container limits.memory.swap.priority 0

如果你不想要強(qiáng)制的內(nèi)存限制：

lxc config set my-container limits.memory.enforce soft

磁盤和塊 I/O

不像 CPU 和內(nèi)存，磁盤和 I/O 限制是直接作用在實(shí)際的設(shè)備上的，因此你需要編輯原始設(shè)備或者屏蔽某個(gè)具體的設(shè)備。

要設(shè)置磁盤限制(需要 btrfs 或者 ZFS)：

lxc config device set my-container root size 20GB

比如：

stgraber@dakara:~$ lxc exec zerotier -- df -h / 
Filesystem                        Size Used Avail Use% Mounted on 
encrypted/lxd/containers/zerotier 179G 542M  178G   1% / 
stgraber@dakara:~$ lxc config device set zerotier root size 20GB 
stgraber@dakara:~$ lxc exec zerotier -- df -h / 
Filesystem                       Size  Used Avail Use% Mounted on 
encrypted/lxd/containers/zerotier 20G  542M   20G   3% /

要限制速度，你可以：

lxc config device set my-container root limits.read 30MB 
lxc config device set my-container root.limits.write 10MB

或者限制 IO 頻率：

lxc config device set my-container root limits.read 20Iops 
lxc config device set my-container root limits.write 10Iops

***你在一個(gè)過量使用的繁忙系統(tǒng)上，你或許想要：

lxc config set my-container limits.disk.priority 10

將那個(gè)容器的 I/O 優(yōu)先級(jí)調(diào)到***。

網(wǎng)絡(luò) I/O

只要機(jī)制可用，網(wǎng)絡(luò) I/O 基本等同于塊 I/O。

比如：

stgraber@dakara:~$ lxc exec zerotier -- wget http://speedtest.newark.linode.com/100MB-newark.bin -O /dev/null 
--2016-03-26 22:17:34-- http://speedtest.newark.linode.com/100MB-newark.bin 
Resolving speedtest.newark.linode.com (speedtest.newark.linode.com)... 50.116.57.237, 2600:3c03::4b 
Connecting to speedtest.newark.linode.com (speedtest.newark.linode.com)|50.116.57.237|:80... connected. 
HTTP request sent, awaiting response... 200 OK 
Length: 104857600 (100M) [application/octet-stream] 
Saving to: '/dev/null' 
/dev/null 100%[===================>] 100.00M 58.7MB/s in 1.7s  
2016-03-26 22:17:36 (58.7 MB/s) - '/dev/null' saved [104857600/104857600] 
stgraber@dakara:~$ lxc profile device set default eth0 limits.ingress 100Mbit 
stgraber@dakara:~$ lxc profile device set default eth0 limits.egress 100Mbit 
stgraber@dakara:~$ lxc exec zerotier -- wget http://speedtest.newark.linode.com/100MB-newark.bin -O /dev/null 
--2016-03-26 22:17:47-- http://speedtest.newark.linode.com/100MB-newark.bin 
Resolving speedtest.newark.linode.com (speedtest.newark.linode.com)... 50.116.57.237, 2600:3c03::4b 
Connecting to speedtest.newark.linode.com (speedtest.newark.linode.com)|50.116.57.237|:80... connected. 
HTTP request sent, awaiting response... 200 OK 
Length: 104857600 (100M) [application/octet-stream] 
Saving to: '/dev/null' 
/dev/null 100%[===================>] 100.00M 11.4MB/s in 8.8s  
2016-03-26 22:17:56 (11.4 MB/s) - '/dev/null' saved [104857600/104857600]

這就是如何將一個(gè)千兆網(wǎng)的連接速度限制到僅僅 100Mbit/s 的!

和塊 I/O 一樣，你可以設(shè)置一個(gè)總體的網(wǎng)絡(luò)優(yōu)先級(jí)：

lxc config set my-container limits.network.priority 5

獲取當(dāng)前資源使用率

LXD API 可以導(dǎo)出目前容器資源使用情況的一點(diǎn)信息，你可以得到：

內(nèi)存：當(dāng)前、峰值、目前內(nèi)存交換和峰值內(nèi)存交換
磁盤：當(dāng)前磁盤使用率
網(wǎng)絡(luò)：每個(gè)接口傳輸?shù)淖止?jié)和包數(shù)。

另外如果你使用的是非常新的 LXD(在寫這篇文章時(shí)的 git 版本)，你還可以在lxc info中得到這些信息：

stgraber@dakara:~$ lxc info zerotier 
Name: zerotier 
Architecture: x86_64 
Created: 2016/02/20 20:01 UTC 
Status: Running 
Type: persistent 
Profiles: default 
Pid: 29258 
Ips: 
 eth0: inet 172.17.0.101 
 eth0: inet6 2607:f2c0:f00f:2700:216:3eff:feec:65a8 
 eth0: inet6 fe80::216:3eff:feec:65a8 
 lo: inet 127.0.0.1 
 lo: inet6 ::1 
 lxcbr0: inet 10.0.3.1 
 lxcbr0: inet6 fe80::f0bd:55ff:feee:97a2 
 zt0: inet 29.17.181.59 
 zt0: inet6 fd80:56c2:e21c:0:199:9379:e711:b3e1 
 zt0: inet6 fe80::79:e7ff:fe0d:5123 
Resources: 
 Processes: 33 
 Disk usage: 
  root: 808.07MB 
 Memory usage: 
  Memory (current): 106.79MB 
  Memory (peak): 195.51MB 
  Swap (current): 124.00kB 
  Swap (peak): 124.00kB 
 Network usage: 
  lxcbr0: 
   Bytes received: 0 bytes 
   Bytes sent: 570 bytes 
   Packets received: 0 
   Packets sent: 0 
  zt0: 
   Bytes received: 1.10MB 
   Bytes sent: 806 bytes 
   Packets received: 10957 
   Packets sent: 10957 
  eth0: 
   Bytes received: 99.35MB 
   Bytes sent: 5.88MB 
   Packets received: 64481 
   Packets sent: 64481 
  lo: 
   Bytes received: 9.57kB 
   Bytes sent: 9.57kB 
   Packets received: 81 
   Packets sent: 81 
Snapshots: 
 zerotier/blah (taken at 2016/03/08 23:55 UTC) (stateless)