Linux虛擬化KVM-Qemu分析之Virtio設(shè)備

作者：LoyenWang 2021-02-14 16:49:22

云計算虛擬化

本文先從Qemu側(cè)的virtio device入手，我會選擇從一個實際的設(shè)備來闡述，沒錯，還是上篇文章中提到的網(wǎng)絡(luò)設(shè)備。

[[381734]]

本文轉(zhuǎn)載自微信公眾號「LoyenWang」，作者LoyenWang。轉(zhuǎn)載本文請聯(lián)系LoyenWang公眾號。

背景

Read the fucking source code! --By 魯迅
A picture is worth a thousand words. --By 高爾基

說明：

KVM版本：5.9.1
QEMU版本：5.0.0
工具：Source Insight 3.5， Visio
文章同步在博客園：https://www.cnblogs.com/LoyenWang/

新的一年，大家牛起來!

祝小姐姐們：

落雁沉魚蘭質(zhì)蕙心明眸皓齒螓首蛾眉天生麗質(zhì) 天香國色杏臉桃腮煦色韶光涎玉沫珠宜嗔宜喜遠山芙蓉艷色絕世余霞成綺阿嬌金屋逞嬌呈美國色天香花顏月貌絕色佳人暗香盈袖閉月羞花傾國傾城溫婉嫻淑千嬌百媚儀態(tài)萬千...

祝男的：

新年好。

1. 概述

先來張圖：

圖中羅列了四個關(guān)鍵模塊：Virtio Device、Virtio Driver、Virtqueue、Notification(eventfd/irqfd);
Virtio Driver：前端部分，處理用戶請求，并將I/O請求轉(zhuǎn)移到后端;
Virtio Device：后端部分，由Qemu來實現(xiàn)，接收前端的I/O請求，并通過物理設(shè)備進行I/O操作;
Virtqueue：中間層部分，用于數(shù)據(jù)的傳輸;
Notification：交互方式，用于異步事件的通知;

想在一篇文章中寫完這四個模塊，有點too yong too simple，所以，看起來又是一個系列文章了。

本文先從Qemu側(cè)的virtio device入手，我會選擇從一個實際的設(shè)備來闡述，沒錯，還是上篇文章中提到的網(wǎng)絡(luò)設(shè)備。

2. 流程分析

在Qemu的網(wǎng)卡虛擬化時，通常會創(chuàng)建一個虛擬網(wǎng)卡前端和虛擬網(wǎng)卡后端，如下圖：

在虛擬機創(chuàng)建的時候指定參數(shù)：-netdev tap, id = tap0， -device virtio-net-pci, netdev=tap0;
創(chuàng)建一個Tap網(wǎng)卡后端設(shè)備;
創(chuàng)建一個Virtio-Net網(wǎng)卡前端設(shè)備;
網(wǎng)卡前端設(shè)備和后端設(shè)備進行交互，最終與Host的驅(qū)動完成數(shù)據(jù)的收發(fā);

全文圍繞著Tap設(shè)備的創(chuàng)建和Virtio-Net設(shè)備的創(chuàng)建展開。

入口流程如下：

Qemu的代碼閱讀起來還是比較費勁的，各種盤根錯節(jié)，里邊充斥著面向?qū)ο蟮乃枷耄冉o自己挖個坑，后續(xù)會專題研究的，this is for you, you have my words.;
圖中與本文相關(guān)的有三個模塊：1)模塊初始化;2)網(wǎng)絡(luò)設(shè)備初始化;3)設(shè)備初始化;

Qemu中設(shè)備模擬通過type_init先編譯進系統(tǒng)，在module_call_init時進行回調(diào)，比如圖中的xxx_register_types，在這些函數(shù)中都是根據(jù)TypeInfo類型信息來創(chuàng)建具體的實現(xiàn);
net_init_client用來創(chuàng)建網(wǎng)絡(luò)設(shè)備，比如Tap設(shè)備;
device_init_func根據(jù)Qemu命令的傳入?yún)?shù)創(chuàng)建虛擬設(shè)備，比如Virtio-Net;

下邊進入細(xì)節(jié)，the devil is in the details。

3. tap創(chuàng)建

從上文中，我們知道，Tap與Virtio-Net屬于前后端的關(guān)系，最終是通過結(jié)構(gòu)體分別指向?qū)Ψ剑缦聢D：

NetClientState是網(wǎng)卡模擬的核心結(jié)構(gòu)，表示網(wǎng)絡(luò)設(shè)備中的幾個端點，兩個端點通過peer指向?qū)Ψ?

創(chuàng)建Tap設(shè)備的主要工作就是創(chuàng)建一個NetClientState結(jié)構(gòu)，并添加到net_clients鏈表中：

函數(shù)的調(diào)用細(xì)節(jié)如下圖：

處理流程只關(guān)注了核心的處理流程，整個過程有很多關(guān)于傳入?yún)?shù)的處理，選擇性忽略了;
net_tap_init：與Host的tun驅(qū)動進行交互，其實質(zhì)就是打開該設(shè)備文件，并進行相應(yīng)的配置等;
net_tap_fd_init：根據(jù)net_tap_info結(jié)構(gòu)，創(chuàng)建NetClientState，并進行相關(guān)設(shè)置，這里邊net_tap_info結(jié)構(gòu)體中的接收函數(shù)指針用于實際的數(shù)據(jù)傳輸處理;
tap_read_poll用于將fd添加到Qemu的AioContext中，用于異步響應(yīng)，當(dāng)有數(shù)據(jù)來臨時，捕獲事件并進行處理;

以上就是Tap后端的創(chuàng)建過程，下文將針對前端創(chuàng)建了。

4. virtio-net創(chuàng)建

這是一個復(fù)雜的流程。

4.1 數(shù)據(jù)結(jié)構(gòu)

Qemu中用C語言實現(xiàn)了面向?qū)ο蟮哪Ｐ停糜趯υO(shè)備進行抽象，精妙!

針對Virtio-Net設(shè)備，結(jié)構(gòu)體及拓?fù)浣M織關(guān)系如下圖：

DeviceState作為所有設(shè)備的父類，其中派生了VirtIODevice和PCIDevice，而本文研究的Virtio-Net派生自VirtIODevice;
Qemu中會虛擬一個PCI總線，同時創(chuàng)建virtio-net-pci，virtio-balloon-pci，virtio-scsi-pci等PCI代理設(shè)備，這些代理設(shè)備掛載在PCI總線上，同時會創(chuàng)建Virtio總線，用于掛載最終的設(shè)備，比如VirtIONet;
PCI代理設(shè)備就是一個紐帶;

4.2 流程分析

與設(shè)備創(chuàng)建相關(guān)的三個函數(shù)，可以從device_init_func入口跟蹤得知：

當(dāng)Qemu命令通過-device傳入?yún)?shù)時，device_init_func會根據(jù)參數(shù)去查找設(shè)備，并最終調(diào)用到該設(shè)備對應(yīng)的類初始化函數(shù)、對象初始化函數(shù)、以及realize函數(shù);
所以，我們的分析就是這三個入口;

4.2.1 class_init

在網(wǎng)卡虛擬化過程中，參數(shù)只需要指定PCI代理設(shè)備即可，也就是-device virtio-net-pci, netdev=tap0，從而會調(diào)用到virtio_net_pci_class_init函數(shù);
由于實現(xiàn)了類的繼承關(guān)系，在子類初始化之前，需要先調(diào)用父類的實現(xiàn)，圖中也表明了繼承關(guān)系以及調(diào)用函數(shù)順序;
C語言實現(xiàn)繼承，也就是將父對象放置在自己結(jié)構(gòu)體的開始位置，圖中的顏色能看出來;

4.2.2 instance_init

類初始化結(jié)束后，開始對象的創(chuàng)建：

針對Virtio-Net-PCI的實例化比較簡單，作為代理，負(fù)責(zé)將它的后繼對象初始化，也就是本文的前端設(shè)備Virtio-Net;

4.2.3 realize

realize的調(diào)用，比較繞，簡單來說，它的類繼承關(guān)系中存在多個realize的函數(shù)指針，最終會從父類開始執(zhí)行，一直調(diào)用到子類，而這些函數(shù)指針的初始化在什么時候做的呢?沒錯，就是在class_init類初始化的時候，進行了賦值，細(xì)節(jié)不表，結(jié)論可靠;
最終的調(diào)用關(guān)系就如圖了;

到目前為止，我們似乎都還沒有看到Virtio-Net設(shè)備的相關(guān)操作，不用著急，已經(jīng)很接近真相了：

virtio_net_pci_realize函數(shù)，會觸發(fā)virtio_device_realize的調(diào)用，該函數(shù)是一個通用的virtio設(shè)備實現(xiàn)函數(shù)，所有的virtio設(shè)備都會調(diào)用，而我們的前端設(shè)備Virtio-Net也是virtio設(shè)備;
virtio_net_device_realize就到了我們的主角了，它進行了virtio通用的設(shè)置(后續(xù)在數(shù)據(jù)通信中再分析)，還創(chuàng)建了一個NetClientState端點，與Tap設(shè)備對應(yīng)，分別指向了對方，惺惺相惜，各自安好;
virtio_bus_device_plugged表示設(shè)備插入總線時的處理，完成的工作就是按照PCI總線規(guī)劃，配置各類信息，以便與Guest OS中的virtio驅(qū)動交互，后續(xù)的文章再分析了;

本文基本捋清了虛擬網(wǎng)卡前端設(shè)備和后端設(shè)備的創(chuàng)建過程，完成的工作只是綁定了彼此，數(shù)據(jù)交互以及通知機制，留給后續(xù)吧。

參考

《 Virtual I/O Device (VIRTIO) Version 1.1》

https://www.redhat.com/en/blog/virtio-devices-and-drivers-overview-headjack-and-phone

責(zé)任編輯：武曉燕來源： LoyenWang