Ceph高性能存儲：Bcache介紹與使用
本文轉載自微信公眾號「新鈦云服」，作者祝祥。轉載本文請聯系新鈦云服公眾號。
什么是Bcache?
HDD一般具有較大的容量，并且可以實現良好的順序讀和寫操作，但是在隨機寫和讀時非常慢，因此它們的IOPS級別較低;SSD具有非常好的整體性能，尤其是較高的IOPS，因此隨機寫入和讀取要比HDD更好，但是它們的容量卻很小。
Bcache是Linux內核塊設備層cache，支持多塊HDD使用同一塊SSD作為緩存盤。它讓SSD作為HDD的緩存成為了可能。因此采用SSD作為緩存，HDD作為數據存儲盤，既解決了SSD容量太小，又解決了HDD運行速度太慢的問題。
圖片如今，一些SSD的順序讀寫性能也比單個HDD盤要好，但無法與某些SAS的RAID進行比較。盡管如此，SSD在隨機IO中表現仍然會更好。有一個可配置選項允許bcache也可以緩存順序的讀寫。
將來，將有可能在緩存設備上使用raid機制，以提高可靠性和性能。另外也可以通過與lvm的結合，提高容量與擴展性。
Bcache緩存模式
“writeback”：
- 最高性能的緩存模式。
- 寫入設備的數據首先寫入ssd，然后異步復制到后端設備，在SSD上復制結束時，寫入就被視為完成。為了安全起見，此處的機制始終確保在將數據完全寫入后端設備(臟頁)之前，不認為任何數據是安全的，因此，如果在SSD上仍存在數據時斷電，則在下次啟動時，數據將被推回支撐設備。這是使bcache能夠和軟件Linux Raid與具有BBU的硬件Raid設備一樣安全。
“writethrough”：
- 安全緩存模式。
- 寫入設備的數據將同時復制到ssd和HDD上，在HDD寫入結束時，寫入才被視為完成。因此，這往往比“writeback”更為安全，但缺乏一些性能。
“writearound”：
- 只讀緩存模式。
- 寫入設備的數據直接進入HDD，而根本不寫入SSD，因此不會對寫有任何性能提升。第一次讀取此數據時，將從HDD中讀取該數據。這樣做的好處是有更多空間用于緩存讀取，并減少了SSD的磨損。
“none” ：
- 停用緩存功能(但/dev/bcache設備仍然可用)
所有這些caching_modes都可以在運行時進行修改。通過以下的命令可以知道當前的緩存模式：
- sudo cat /sys/block/bcache0/bcache/cache_mode
- writethrough [writeback] writearound none
更改cache_mode：
- sudo su - -c 'echo writethrough > /sys/block/bcache0/bcache/cache_mode'
- sudo cat /sys/block/bcache0/bcache/cache_mode
- [writethrough] writeback writearound none
使用Bcache
Bcache可以在普通設備上使用，也可以在設備分區上使用。在本文中，我們將僅使用普通設備。
bcache需要的配置：
- Bcache是從Linux-3.10開始正式并入內核主線的，因此，要使用Bcache，需要將內核升級到3.10及以上版本才行。(本文使用ubuntu 20.04)
- 固態硬盤
- 普通hdd硬盤
如果您使用的是Ubuntu 20.04，則可以如下進行測試。
系統更新，軟件包安裝：
- sudo apt-get update
- sudo apt-get upgrade
- sudo apt-get install bcache-tools
確認每塊磁盤的用途：
- 系統將位于/dev/sda
- hdd硬盤(稱為后端設備)將為/dev/sdb
- ssd(稱為緩存設備)將為/dev/sdc。
在配置緩存之前，我們需要清理磁盤上的所有數據。
我們使用dd命令將磁盤的前4kB置0：
- sudo dd if=/dev/zero if=/dev/sdb bs=512 count=8
- sudo dd if=/dev/zero if=/dev/sdc bs=512 count=8
- wipefs -a /dev/sdb
- wipefs -a /dev/sdc
現在您可以創建bcache了：
- make-bcache -C /dev/sdc -B /dev/sdb
您還可以設置一些配置標志，即：
- make-bcache -C /dev/sdc -B /dev/sdb --discard --writeback
參數說明：
- -C用于您的緩存設備(ssd)
- -B用于您的后端設備(hdd)
- --discard用于在ssd上使用TRIM，默認情況下未激活。
- --writeback使用緩存模式寫回，默認情況下它設置為直寫。
如果操作系統在寫入新數據之前就擦除了未使用的空間，而不是在寫入時同時進行擦除，則可以提高文件保存性能。這種做法就是 TRIM。TRIM 命令本質上允許你的操作系統告訴驅動器哪些區域的數據不再使用，以便擦除它們，加快驅動器將來的寫入，可以 SSD 的用戶提供更佳的體驗。
在 Linux 中，fstrim 提供此功能，它可以為寫入新數據而準備驅動器，并延長驅動器的使用壽命。由于在我使用的 Linux 發行版上 SSD 的 trim 不是自動的，所以必須去調度該操作，否則 SSD 的性能會隨著時間的推移而降低。
現在，您能夠列出您的設備：
- ls /dev/bcache*
- /dev/bcache0
在此設備上創建新文件系統：
- sudo mkfs.ext4 /dev/bcache0
警告! 您無法在/dev/bcache0上創建新分區，如果您需要在兩個ssd和sata設備中同時做多個bcache設備，則需要先對普通磁盤進行分區，并使用分區作為后端和緩存設備來創建bcache設備。
現在您可以掛載bcache設備：
- sudo mkdir /media/bcache
- sudo mount /dev/bcache0 /media/bcache
您還必須將其添加到fstab中：
- sudo su - -c “/dev/bcache0 /media/bcache ext4 rw 0 0 >> /etc/fstab”
警告! 如果您有多個bcache設備，則需要使用UUID。您可以通過執行以下操作來檢索bcache UUID：
- blkid /dev/bcacheX
然后在/etc/fstab中用UUID=YOUR_UUID_GIVEN_BEFORE替換/dev /bcacheX。確保在下一次重啟服務器之前，該配置已經配置完成
一些簡單的性能測試
我創建了一個Ubuntu 20.04虛擬機，該虛擬機僅使用openssh服務。此虛擬機在啟動時設置為tar-gz根文件系統，然后自動關閉電源。
啟動的虛擬機vm的數量與當前CPU邏輯核數一樣多(12個)。他們在具有8GB內存的主機系統上消耗了6GB內存，而每個vm上的文件系統大小約為1.4GB，因此通常系統緩存效果不會顯得太重要(除非激活了共享頁面)。
測試分為兩個部分：
- 將基礎鏡像復制n份，并同時啟動n個vm，直到它們都關閉電源。
- 同時啟動n個虛擬機，直到它們全部斷電。
當測試檢查鏡像是否已經存在時，第一次運行的時間要長于下一個。
使用的啟動命令：
- kvm -m 512 -nographics -drive if=virtio,file=${BASE}${BASE_IMAGE} -net nic -net user -k fr --kernel $BASE/vmlinuz --initrd $BASE/initrd --append "root=/dev/vda1 nomodeset"
結果為(僅兩次運行，可能需要更多運行才能得出平均值)：
HDD only：
12個vms在硬盤上啟動：real 42m34.324s user 18m33.683s sys 4m20.040s
12個vms重新啟動硬盤：real 36m20.788s user 17m49.306s sys 3m23.770s
SSD only：
12個vm在ssd上啟動：real 6m22.430s user 20m39.627s sys 3m11.735s
12個vms重新啟動(ssd)：real 3m35.279s user 19m21.430s sys 2m5.923s
Bcache writearound模式：
12個vms啟動：real 43m58.575s user 19m29.924s sys 4m39.586s
12個vms重啟：real 4m16.057s user 18m57.197s sys 2m8.818s
Bcache writethrough模式：
12個vms啟動：real 33m33.490s user 17m54.543s sys 3m56.084s
12個vms重啟：real 7m7.148s user 18m7.827s sys 2m26.736s
Bcache writeback模式：
12個vms啟動：real 21m37.536s user 17m4.371s sys 3m11.529s
12個vms重啟：real 3m58.942s user 18m30.382s sys 2m2.761s
恢復先前配置的bcache設備
加載模塊：
- sudo modprobe bcache
在每次啟動時加載模塊：
- sudo su - -c ‘echo bcache >> /etc/modules’
可選驗證每個設備角色：
- sudo bcache-super-show -f /dev/sdb
- sudo bcache-super-show -f /dev/sdc
重新注冊bcache設備：
- sudo su - - c ‘echo /dev/sdb > /sys/fs/bcache/register’
- sudo su - - c ‘echo /dev/sdc > /sys/fs/bcache/register’
現在您必須能夠安裝它：
- sudo mount /dev/bcacheX /media/bcache
刪除bcache
測試之后，您可能想要恢復資源，這是刪除bcache設備所需的操作：
Backup：
首先，您可能需要備份數據，因為您將刪除所有內容。
Umount：
如果您的設備已安裝，則現在更安全地進行安裝。
- sudo umount -v /dev/bcache0
Stopping the bcache：
- sudo su - -c "echo 1 >/sys/fs/bcache/......../unregister"
- sudo su - -c "echo 1 >/sys/block/bcache0/bcache/stop"
- sudo wipefs -a /dev/sdX_caching
- sudo wipefs -a /dev/sdY_backing
ceph 中的Bcache
目前，在Ceph中使用SSD的主要方法有兩種：緩存分層和OSD緩存。眾所周知，Ceph的緩存分層機制尚未成熟，策略更加復雜，IO路徑更長。在某些IO場景中，它甚至可能導致性能下降，升級的粒度越大，也會帶來更多的負面影響。因此，在使用SSD時，我們選擇加速OSD所在的塊設備。在Linux內核塊層，SSD用于加速HDD塊設備。當前，更成熟的解決方案是：閃存，enhancedIO，dm-cache，bcache等。
在這些開放源代碼解決方案中，前三個高速緩存塊索引算法都相對相似，均基于哈希索引，并且主存儲數據塊到高速緩存塊使用組關聯映射方法。Bcache與其他方法之間的最大區別是，它使用相對標準的B +樹作為索引，并且命中率將大大提高。同時，它在架構設計中考慮了SSD本身的某些特性，在充分發揮SSD的性能的同時，還保護了SSD的壽命，即它與SSD閃存介質具有良好的親和力。
Bcache的內部實現相對復雜，并且代碼復雜度遠高于flashcache/enhancedIO等，并且已經集成到內核的主線中。在高版本內核(4.8及更高版本)上，它仍然相對穩定和可靠，但是在Ceph For OSD加速中，仍有一些問題需要解決：
功能問題：
SSD和HDD不支持熱插拔
從緩存池中卸載HDD時，需要等待所有臟數據被刷新，這需要很長時間
當硬盤損壞時，無法刪除SSD中相應的臟數據，從而浪費空間
系統重啟后無法恢復精簡閃存卷
性能問題：
當上層中的大量隨機寫入IO充滿了緩存空間時，您必須等待所有臟數據被刷新，然后才能繼續為寫入IO提供緩存
當GC線程運行時，它將導致業務IO的波動
Bcache元數據緩存會占用大量內存。當系統內存不足時，無法緩存大量的元數據。需要從SSD讀取它并影響性能
使用方式：
當使用bcache加速ceph OSD時，我們采用以下的方式：
為每個SSD創建一個緩存池，將相同數量的HDD附加到每個緩存池
從每個緩存池創建一個精簡閃存卷，以將每個OSD的OMAP目錄分離到其中
日記可以獨立放置到SSD中，也可以從緩沖池中創建多個精簡卷來寫入日記
通過大量的測試和分析，我們使bcache在ceph的生產環境中能夠穩定運行，這不僅可以最大化SSD的性能，而且可以延長SSD的使用壽命，節省用戶投資，并為客戶提供更多成本有效的混合存儲解決方案。
參考文章：
https://wiki.ubuntu.com/ServerTeam/Bcache
https://titanwolf.org/Network/Articles/Article?AID=4fc8cd53-c4a2-450b-a01f-e92240850241#gsc.tab=0
https://gist.github.com/mikulely/e2931b7cce388dbff006622a3eef7b42
