詳解Linux 磁盤I/O優化（Oracle RAC）
概述
分享下關于linux磁盤I/0方面的優化，中間插一個rac方面的報錯解決。
文件系統優化
** 動態調整請求隊列數來提高效率,默認請求隊列數為：128, 可配置512 **
- [root@bo queue]# cat /sys/block/sda/queue/nr_requests128
** read_ahead, 通過數據預讀并且記載到隨機訪問內存方式提高磁盤讀操作，默認值 128，ceph配置:8192 **
- [root@bo queue]# cat /sys/block/sda/queue/read_ahead_kb128
** 關閉***一次訪問文件(目錄)的時間戳 **
例如：
- mount -t xfs -o defaults,noatime,nodiratime /dev/sda5 /data
** 大文件，大容量，大量文件數建議使用xfs文件系統 **
調整I/O調度算法
磁盤IO調度算法
- [root@bo queue]# cat /sys/block/sda/queue/scheduler
- noop anticipatory deadline [cfq]
centos6.x默認為cfq
調整為deadline
- [root@bo queue]# echo deadline > /sys/block/sda/queue/scheduler
- [root@bo queue]# cat /sys/block/sda/queue/scheduler
- noop anticipatory [deadline] cfq
PS：這里在用redhat6部署rac的時候如果沒配置會提示I/0 scheduler的警告，按上面配置就可以解決了。
I/0 scheduler報錯
多少個盤寫多少個
** I/O調度算法介紹 **
CFQ(完全公平排隊I/O調度程序) 默認
特點:
CFQ試圖均勻地分布對I/O帶寬的訪問,避免進程被餓死并實現較低的延遲,是deadline和as調度器的折中.
CFQ賦予I/O請求一個優先級,而I/O優先級請求獨立于進程優先級,高優先級的進程的讀寫不能自動地繼承高的I/O優先級.
工作原理:
CFQ為每個進程/線程,單***建一個隊列來管理該進程所產生的請求,也就是說每個進程一個隊列,各隊列之間的調度使用時間片來調度,
以此來保證每個進程都能被很好的分配到I/O帶寬.I/O調度器每次執行一個進程的4次請求.
NOOP(電梯式調度程序)
特點:
在Linux2.4或更早的版本的調度程序,那時只有這一種I/O調度算法.
NOOP實現了一個簡單的FIFO隊列,它像電梯的工作主法一樣對I/O請求進行組織,當有一個新的請求到來時,它將請求合并到最近的請求之后,以此來保證請求同一介質.
NOOP傾向餓死讀而利于寫.
NOOP對于閃存設備,RAM,嵌入式系統是***的選擇.
電梯算法餓死讀請求的解釋:
因為寫請求比讀請求更容易.
寫請求通過文件系統cache,不需要等一次寫完成,就可以開始下一次寫操作,寫請求通過合并,堆積到I/O隊列中.
讀請求需要等到它前面所有的讀操作完成,才能進行下一次讀操作.在讀操作之間有幾毫秒時間,而寫請求在這之間就到來,餓死了后面的讀請求.
Deadline(截止時間調度程序)
特點:
通過時間以及硬盤區域進行分類,這個分類和合并要求類似于noop的調度程序.
Deadline確保了在一個截止時間內服務請求,這個截止時間是可調整的,而默認讀期限短于寫期限.這樣就防止了寫操作因為不能被讀取而餓死的現象.
Deadline對數據庫環境(ORACLE RAC,MYSQL等)是***的選擇.
AS(預料I/O調度程序)
特點:
本質上與Deadline一樣,但在***一次讀操作后,要等待6ms,才能繼續進行對其它I/O請求進行調度.
可以從應用程序中預訂一個新的讀請求,改進讀操作的執行,但以一些寫操作為代價.
它會在每個6ms中插入新的I/O操作,而會將一些小寫入流合并成一個大寫入流,用寫入延時換取***的寫入吞吐量.
AS適合于寫入較多的環境,比如文件服務器
AS對數據庫環境表現很差.
** I/O調度算法總結 **
Anticipatory I/O scheduler 適用于大多數環境,但不太合適數據庫應用
Deadline I/O scheduler 通常與Anticipatory相當,但更簡潔小巧,更適合于數據庫應用, DATA/SAS盤
CFQ I/O scheduler 為所有進程分配等量的帶寬,適合于桌面多任務及多媒體應用，默認IO調度器
NOOP I/O scheduler 適用于SSD盤，有RAID卡，做了READ的盤
** sysctl.conf針對磁盤優化 **
vm.swappiness = [0 - 10] 默認是60，太高了，如果是緩存服務器建議配置為0
針對固態硬盤優化
1、關閉日志功能
2、fstab里加掛載參數data=writeback
3、啟用 TRIM 功能
Linux內核從2.6.33開始提供TRIM支持，所以先運行“uname -a”命令，查看自己的內核版本，如果內核版本低于2.6.33的，請先升級內核。
然后運行“hdparm -I /dev/sda”查看自己的硬盤支不支持TRIM技術，如果支持，你會看到
Data Set Management TRIM supported
如果上面兩個條件都滿足了，就可以在fstab中添加discard來開啟TRIM功能，如：
原始的UUID=2f6be0cf-2f54-4646-b8c6-5fb0aa01ef23 / ext4 defaults,errors=remount-ro 0 1
改后的UUID=2f6be0cf-2f54-4646-b8c6-5fb0aa01ef23 / ext4 discard，defaults,errors=remount-ro 0 1
