批量寫(xiě)庫(kù)操作，如何優(yōu)化？
引言
數(shù)據(jù)庫(kù)插入操作的語(yǔ)句如下：
insert into table values (a1, b1)涉及到SQL層和存儲(chǔ)層，其中SQL層需要解析SQL語(yǔ)句，生成抽象語(yǔ)法樹(shù)(AST)，計(jì)算表達(dá)式等，存儲(chǔ)層需要判斷主鍵沖突，包括增量數(shù)據(jù)和基線(xiàn)數(shù)據(jù)上的主鍵沖突，如果是非重復(fù)主鍵，則將數(shù)據(jù)插入到增量數(shù)據(jù)中。
上條插入語(yǔ)句只插入一行數(shù)據(jù)，稱(chēng)之為單條插入，相應(yīng)地，還可以在一條語(yǔ)句中插入多行數(shù)據(jù)，稱(chēng)之為批量插入。
insert into table values (a1, b1), (a2, b2), (a3, b3)批量插入的多行數(shù)據(jù)作為一個(gè)事務(wù)，所有數(shù)據(jù)插入成功，或者所有數(shù)據(jù)插入失敗，不會(huì)出現(xiàn)部分?jǐn)?shù)據(jù)插入成功的情況。批量插入相對(duì)于單條插入在性能上有很大優(yōu)勢(shì)，SQL解析只需要做一次，事務(wù)只需要做一次，因此理應(yīng)在相同的時(shí)間內(nèi)插入更多行數(shù)據(jù)。
1. 單行插入引擎
此前，OceanBase的單條插入與批量插入使用的是同一套接口，從SQL層讀取一行，檢查沖突，插入數(shù)據(jù)，然后反復(fù)重復(fù)這個(gè)過(guò)程，直到?jīng)]有數(shù)據(jù)為止。這樣的代碼看起來(lái)非常優(yōu)雅，卻沒(méi)有利用到批量插入的特點(diǎn)而做針對(duì)性的優(yōu)化。
2. 批量插入引擎
批量插入引擎每次可以讀取一批數(shù)據(jù)，比如500行，然后做批量檢查沖突，再批量插入到增量數(shù)據(jù)中（內(nèi)存B+樹(shù)），目前做的只有批量讀和檢查沖突，批量插入留到以后再做?？此坪芎?jiǎn)單的優(yōu)化，性能卻提升了很多，在遞增插入場(chǎng)景，Sysbench bulk insert的單線(xiàn)程測(cè)試中，無(wú)基線(xiàn)數(shù)據(jù)時(shí)，性能提升30%，有基線(xiàn)數(shù)據(jù)時(shí)，性能提升了100%。性能提升的原因有如下幾點(diǎn)：
2.1 系統(tǒng)層面
- 正在處理的一批數(shù)據(jù)可以始終在CPU Cache中，L1 Cache的大小是32KB，一行的大小為32 bytes（元數(shù)據(jù)，指針等），可以存儲(chǔ)1024行，而讀L1 Cache的性能是讀內(nèi)存性能的100倍。
- CPU不僅可以Cache數(shù)據(jù)，還可以Cache指令，在單條插入的時(shí)候，在一定時(shí)間內(nèi)總是執(zhí)行不同的指令，因此很難Cache，每次都需要從內(nèi)存中取指令，將指令解碼后，才能再去取數(shù)據(jù)，而在批量插入中，在一個(gè)緊湊的循環(huán)中，每次都是執(zhí)行相同的指令，因此這些指令基本上可以在Cache中。
- CPU訪(fǎng)問(wèn)內(nèi)存的過(guò)程為，進(jìn)程的虛擬內(nèi)存地址通過(guò)查找TLB（硬件高速緩存，空間較?。?，Page Table（內(nèi)存中）轉(zhuǎn)化為內(nèi)存的物理地址，若TLB中找不到對(duì)應(yīng)的虛擬地址，需要訪(fǎng)問(wèn)內(nèi)存中的Page Table。若同時(shí)處理一個(gè)500行的數(shù)組，TLB的命中率會(huì)大很多，而訪(fǎng)問(wèn)TLB的速度是內(nèi)存的100倍。
- CPU有預(yù)取內(nèi)存功能，當(dāng)從SQL中讀到的行需要轉(zhuǎn)換為存儲(chǔ)層中的行時(shí)，以前是讀內(nèi)存，轉(zhuǎn)換，讀內(nèi)存，轉(zhuǎn)換，而現(xiàn)在是完全并行起來(lái)的，轉(zhuǎn)換完一行之后，后面的行已經(jīng)從內(nèi)存中被預(yù)取到CPU Cache中了，而且CPU讀內(nèi)存的單位是Cache Line是64 bytes，每次可以讀兩行，而以前單行處理的時(shí)候，是把這個(gè)能力浪費(fèi)了的。
- 存儲(chǔ)層從SQL拿數(shù)據(jù)的時(shí)候，會(huì)調(diào)用一個(gè)虛函數(shù)get_next_row，C++里虛函數(shù)是通過(guò)虛函數(shù)表實(shí)現(xiàn)的，對(duì)象里有一個(gè)指向虛函數(shù)表的指針，每次調(diào)用函數(shù)的時(shí)候，需要通過(guò)指針找到這個(gè)表，然后在表里再通過(guò)一個(gè)指針，找到相應(yīng)的函數(shù)實(shí)現(xiàn)，也就是每次調(diào)用get_next_row都有兩次隨機(jī)內(nèi)存訪(fǎng)問(wèn)，而改成批量之后，就少了大量的這種操作，比如有4萬(wàn)行數(shù)據(jù)，以前需要4萬(wàn)次虛函數(shù)調(diào)用，而現(xiàn)在只需要80次。
2.2 算法層面
- 檢查主鍵沖突的時(shí)候，由于基線(xiàn)數(shù)據(jù)是靜態(tài)的，最大值不變，而后面插入的數(shù)據(jù)往往是越來(lái)越大的，因此只需要比較一下這一批數(shù)據(jù)的最小值和靜態(tài)數(shù)據(jù)的最大值即可，減少了大量的沖突檢測(cè)。
- 單行插入內(nèi)存B+樹(shù)時(shí)，每一行都需要從根節(jié)點(diǎn)搜索，直到相應(yīng)的葉子節(jié)點(diǎn)，需要多次加讀鎖寫(xiě)鎖，批量插入后，對(duì)一批數(shù)據(jù)做一個(gè)排序，然后將相應(yīng)的數(shù)據(jù)直接插入到相應(yīng)的葉子節(jié)點(diǎn)而不再?gòu)母?jié)點(diǎn)搜索，減少了大量的比較和加鎖操作，而且同一批數(shù)據(jù)基本在少量的葉子節(jié)點(diǎn)中，因此葉子節(jié)點(diǎn)基本都可以在CPU Cache中。
