物理服務器網絡性能優化
#01、基礎知識
中斷本質是一種電信號，由硬件產生，并直接送到中斷控制器，然后再由中斷控制器向 CPU發送信號。常見的中斷控制器有兩種：可編程中斷控制器（8259A）和高級可編程中斷控制器（APIC），8259A只適合單CPU的情況，高級可編程中斷控制器（APIC）更能充分發揮多CPU多核的SMP體系（Symmetric Multi-Processor）優勢，把中斷傳遞給每個CPU以便更好實現并行和性能提高。同時，Linux kernel 2.4以后的版本支持通過SMP IRQ Affinity實現把不同硬件中斷請求（IRQs）分配到特定的CPU上。
SMP IRQ affinity允許系統限制或者重新分配服務器的工作負載, 從而讓服務器更有效的工作。以網卡中斷為例，在沒有設置SMP IRQ affinity時， 所有網卡中斷都關聯到CPU0, 這導致了CPU0負載過高，而無法有效快速地處理網絡數據包，容易產生性能瓶頸。通過SMP IRQ affinity，把網卡多個中斷分配到多個CPU上，可以分散CPU壓力，提高數據處理速度。
圖1 SMP對稱多處理器結構
同時，Linux的irqbalance用于優化中斷分配，自動收集系統數據以分析使用模式，并依據系統負載狀況將工作狀態置于Performance Mode或Power-Save Mode。處于Performance Mode時irqbalance會將中斷盡可能均勻地分發給各個CPU以充分利用CPU多核，提升性能；處于Power-Save Mode時，irqbalance會將中斷集中分配給第一個CPU，以保證其它空閑CPU的睡眠時間，降低能耗。
正常情況下，一張網卡只有一個隊列用來接收網絡數據包時，同一時間數據包的處理只能由某個單核處理，不僅無法發揮多CPU多核優勢，而且大流量帶寬下必然造成數據包阻塞。因此，隨著技術的發展，引入了網卡多隊列機制，一張網卡支持多個隊列來接發收數據包，這樣同一時間多個隊列的數據包可以分散到不同的CPU進行處理。RSS（Receive Side Scaling）是網卡的硬件特性，實現多隊列，每個隊列對應一個中斷號，通過中斷綁定實現網卡中斷在多CPU多核上的分配。
但是在網絡壓力較大時，多隊列網卡I/O產生的中斷訪問非常多，此時隊列數量會對網卡數據包的處理效率產生較大影響。根據實踐經驗，當單個PCIe槽位上網卡的隊列總數等于該PCIe槽位所連接的CPU物理核數時，網卡I/O中斷的處理效率將會最高。例如，單顆CPU的物理核心數為32，每張網卡的端口為2，所以網卡的多隊列數應設置為16=32/2。
由于操作系統默認通過irqbalance服務來分派網卡隊列中的網絡數據包交由哪個CPU core處理，當irqbalance服務分配的處理網卡中斷的CPU core不是網卡PCIe槽位所連接的CPU die或CPU時，會觸發跨CPU die或CPU的core訪問，中斷處理效率會比較低。因此，在網卡隊列數設置完成后，我們還需要關閉irqbalance服務，將網卡隊列中斷號綁定到處理網卡中斷的CPU core上，從而減少跨CPU die或CPU訪問所帶來的額外開銷，進一步提升網絡處理性能。
#02、動手實踐
1、判斷當前系統環境是否支持多隊列網卡。
# lspci -vvv |
如果在Ethernet項中含有MSI-X: Enable+ Count=9 Masked-語句，則說明當前系統環境是支持多隊列網卡的，否則不支持。
2、查看網卡是否支持多隊列，以及最多支持多少、當前開啟多少。
# ethtool -l eth0 ## 查看 eth0 多隊列情況 |
3、設置網卡當前使用多隊列。
# ethtool -L eth0 combined <N> ## 針對 eth0 網卡設置多隊列，N為要設置的隊列數 |
4、確保多隊列設置確實已生效，可以查看文件。
# ls /sys/class/net/eth0/queues/ ## 確認rx數量等于設定值 rx-0 rx-2 rx-4 rx-6 tx-0 tx-2 tx-4 tx-6 |
5、查看系統給網卡端口分配的中斷號。
# cat /proc/interrupts | grep –i eth0 |
6、主動關閉irqbalance進程。
# service irqbalance stop |
7、更新文件，設置中斷綁定。
通過修改
或
可以設置中斷綁定，其中{IRQ_ID}是相應的中斷號。smp_affinity內容是16進制，smp_affinity_list內容是10進制，兩個文件相通，修改一個之后另一個相應改變。
#03、經驗總結
1、可以通過手動改變smp_affinity文件中的值來將IRQ綁定到指定的CPU核心上，或者啟用irqbalance服務來自動綁定IRQ到CPU核心上。針對多CPU多核的SMP體系，一般默認啟用irqbalance簡化配置并保障性能。
2、對于文件服務器、高流量Web服務器這樣的應用來說，把不同的網卡IRQ均衡綁定到不同的CPU上將會減輕某個CPU的負擔，提高多個CPU整體處理中斷的能力。
3、對于數據庫服務器這樣的應用來說，把磁盤控制器綁到一個CPU、把網卡綁定到另一個CPU將會提高數據庫的響應時間實現優化性能。
綜上所述，性能優化是一個過程而不是結果，需要大量的測試、觀察、驗證和改進。因此，應用系統需要合理地根據生產環境配置和應用特點來平衡IRQ中斷，從而不斷提高系統的整體吞吐能力和性能。
