加快數(shù)據(jù)庫性能的八項(xiàng)技術(shù)

作者：聞數(shù)起舞 2021-07-11 17:01:22

在本文中，您將學(xué)習(xí)垂直和水平分區(qū)，分片，復(fù)制等的區(qū)別，以及加快數(shù)據(jù)庫的其他方式。

幾乎所有用于最終用戶的Web服務(wù)都需要存儲(chǔ)數(shù)據(jù)。它們幾乎所有人都將它們存儲(chǔ)在數(shù)據(jù)庫中。很多很多使用PostgreSQL，MySQL / MariaDB或MSSQL等關(guān)系數(shù)據(jù)庫。數(shù)據(jù)庫系統(tǒng)非常令人敬畏，因?yàn)槟梢酝浰鼈儭Ｋ麄冎皇菫榱颂幚砟愕臄?shù)據(jù)持久性……直到他們變慢。

在本文中，您將學(xué)習(xí)垂直和水平分區(qū)，分片，復(fù)制等的區(qū)別，以及加快數(shù)據(jù)庫的其他方式。我們走吧!

[[410567]]

我們關(guān)心什么?

對于數(shù)據(jù)庫系統(tǒng)，我們關(guān)心一致的一致性和可用性。我們還需要一個(gè)用于交換破損設(shè)備和連續(xù)備份的工作解決方案。

一旦滿足最低要求，我們可能有幾個(gè)性能指標(biāo)：

讀取簡單查詢的性能
讀取復(fù)雜查詢的性能
插入/更新性能

不同應(yīng)用程序的工作量以重要方式不同。許多Web應(yīng)用程序僅使用CRUD，偶爾一次，非常簡單的連接。他們需要快速讀取和相對快速的寫入。他們有大量的小交易。他們有一個(gè)OLTP風(fēng)格的工作量。

分析團(tuán)隊(duì)相比之下需要更復(fù)雜的疑問。如果這些查詢需要更多時(shí)間，它也是可以接受的。它們具有少量復(fù)雜的選擇查詢。他們有一個(gè)OLAP風(fēng)格的工作量。

找到單個(gè)慢查詢的一個(gè)工具正在記錄慢查詢(MySQL，PostgreSQL，MSSQL)。

算法改進(jìn)

在許多情況下，在生產(chǎn)中運(yùn)行的代碼只是恰好工作的第一件事。對于非開發(fā)人員來說，想想你寫的最后幾塊電子郵件。很可能，至少有一個(gè)在哪里你沒有花太多時(shí)間來改善你的溝通方式。這是一個(gè)代碼的故事。在好公司中，至少第二個(gè)人在代碼中快速瀏覽。但是，當(dāng)它看起來合理時(shí)，我們的開發(fā)人員不會(huì)詳細(xì)介紹每一條線。這意味著總會(huì)有改進(jìn)的空間。

對于數(shù)據(jù)庫，有兩種常見的方法可以改進(jìn)：添加合理的索引和查詢優(yōu)化。

1. 索引

索引允許數(shù)據(jù)庫通過維護(hù)有效的搜索數(shù)據(jù)結(jié)構(gòu)(例如，B樹)更快地查找相關(guān)行。這是按表完成的。添加索引可以計(jì)算地昂貴，必須在生產(chǎn)系統(tǒng)上執(zhí)行，因此通常不經(jīng)常完成。

通過SQL創(chuàng)建索引(MySQL，PostgreSQL)很容易：

CREATE INDEX arbitrary_index_name 
ON your_table_name(column1, column2);

添加索引可以加速數(shù)據(jù)庫中的搜索，但慢下來更新/插入/刪除語句，除非“在”部分“部分成本耗時(shí)。

2. 查詢優(yōu)化

查詢優(yōu)化由每個(gè)查詢的數(shù)據(jù)庫用戶完成。查詢可以用幾種不同的方式編寫，其中一些可以比其他方式更有效。您可能希望在數(shù)據(jù)上嘗試不同的查詢版本并使用Explate語句。

一個(gè)提及的工具是sqlcheck。它檢查常見的SQL查詢反模式，例如在一列中具有多個(gè)值而不是使用交叉表或通配符選擇。

查詢優(yōu)化主題的略微不同的子類別是n + 1問題/寫入循環(huán)以發(fā)送多個(gè)查詢，而不是對數(shù)據(jù)進(jìn)行一個(gè)查詢。

3. 業(yè)務(wù)變更和分區(qū)

當(dāng)您正在營業(yè)時(shí)，您想取悅您的客戶。如果他們要求一個(gè)小型功能，您會(huì)嘗試包含它。這可能導(dǎo)致功能蠕變。UNIX哲學(xué)表明這是一個(gè)很多問題的問題：

做一件事并做得好。” - Doug McIlroy.

同樣，可以通過用戶組拆分Web服務(wù)數(shù)據(jù)。也許將它們分成區(qū)域是有意義的?我在AWS和安全的代碼戰(zhàn)士上看到過。也許你可以將其分成“私人客戶”，“小型企業(yè)客戶”或“大型商業(yè)客戶”?也許應(yīng)用程序的一部分實(shí)際上可以與自己的數(shù)據(jù)庫有自己的服務(wù)?

4. 復(fù)制

> Image by Martin Thoma

如果讀是問題，復(fù)制是一個(gè)簡單的解決方案，如果更新的一點(diǎn)時(shí)間延遲并不大。復(fù)制將數(shù)據(jù)庫連續(xù)復(fù)制到另一臺(tái)計(jì)算機(jī)。它加速了讀取并充當(dāng)故障轉(zhuǎn)移機(jī)制。

該想法是擁有一個(gè)主服務(wù)器和多個(gè)復(fù)制服務(wù)器，該服務(wù)器以前在其他名稱下已知。主服務(wù)器處理數(shù)據(jù)的任何更改，而Replication Server只會(huì)復(fù)制主服務(wù)器。還有其他拓?fù)洌绛h(huán)或星形設(shè)置。

另請參閱：MySQL文檔，PostgreSQL文檔，MSSQL文檔

5. 水平分區(qū)

鑒于一個(gè)巨大的表，我們可以在另一臺(tái)機(jī)器上存儲(chǔ)一些行和其他機(jī)器。按行拆分?jǐn)?shù)據(jù)的想法稱為水平分區(qū)。

圖像解釋了多個(gè)單詞：

> Conceptual example for horizontal partitioning. Image by Martin Thoma.

僅在MySQL / MariaDB中的ID簡單地分區(qū)：

ALTER TABLE shopping_carts 
PARTITION BY RANGE(id) 
( Partition p0 VALUES LESS THAN (1234),  
  Partition p1 VALUES LESS THAN (4567),  
  Partition p2 VALUES LESS THAN MAXVALUE);

您希望數(shù)據(jù)庫系統(tǒng)的用戶仍然能夠使用典型查詢查詢數(shù)據(jù)庫，或許使用以下內(nèi)容：

SELECT * FROM shopping_carts WHERE cart_id = 3

這里有一個(gè)重要的事情：水平分區(qū)完全無關(guān)與水平縮放!

6. 垂直分區(qū)

我們可以根據(jù)行劃分大數(shù)據(jù)庫，而是可以按列劃分。這可能會(huì)給你一種不安的感覺，因?yàn)槟阍诖髮W(xué)學(xué)習(xí)了一個(gè)正常化數(shù)據(jù)庫是一個(gè)好主意。這里要注意的重要事項(xiàng)是我們正在談?wù)摂?shù)據(jù)庫設(shè)計(jì)中的不同階段。各種數(shù)據(jù)庫正常形式與邏輯設(shè)計(jì)有關(guān)。在這個(gè)階段，我們照顧了物理設(shè)計(jì)。

應(yīng)用程序的不同部分可能不需要行的大多數(shù)列。出于這個(gè)原因，可以將它們分開。因此，垂直分區(qū)也稱為行分離。

一個(gè)常用的實(shí)踐是從內(nèi)容中拆分元數(shù)據(jù)。這是一個(gè)圖片：

> Image by Martin Thoma

這里有一個(gè)重要的事情：垂直分區(qū)與垂直縮放完全無關(guān)!

當(dāng)您避免隱私或監(jiān)管問題時(shí)，垂直分區(qū)可能很有用。想想信用卡信息。這可以符合其他信息符合良好，但大多數(shù)應(yīng)用程序都不需要它。您甚至可能將其放在完全不同的數(shù)據(jù)庫中，并將其隱藏在私人微服務(wù)后面。

分片 - 以下一級(jí)分配

您已經(jīng)看到數(shù)據(jù)可以以兩種不同的方式分組。它可能已經(jīng)有意義地分區(qū)同一臺(tái)計(jì)算機(jī)以幫助數(shù)據(jù)庫更快地執(zhí)行常見查詢。但如果數(shù)據(jù)庫最大限度地熄滅CPU或RAM，則使用不同的機(jī)器可能有意義。

分片正在劃分單個(gè)邏輯數(shù)據(jù)集并將其分發(fā)在不同的機(jī)器上。

正如您可能猜到的那樣，這有很多問題 - 因此應(yīng)該只應(yīng)該是你最后的出路。例如，由于2010年10月(來源)的分配問題，F(xiàn)ourSquare已下降了11小時(shí)。到目前為止，我一直很幸運(yùn)，我不必處理分片。

第一個(gè)明顯的問題是您的應(yīng)用程序需要知道哪些碎片包含您正在尋找的數(shù)據(jù)。因此，您的應(yīng)用程序邏輯受到影響，可能在所有地方受到影響。

第二個(gè)大問題是橫跨碎片加入。

第三個(gè)問題是如何定義分片。要真正可擴(kuò)展，您想要進(jìn)行動(dòng)態(tài)定義分片。擁有分層結(jié)構(gòu)可以幫助實(shí)現(xiàn)這一目標(biāo)。

8. 數(shù)據(jù)庫群集

在看Vitess時(shí)，我只會(huì)遇到這個(gè)術(shù)語。這個(gè)想法似乎隱藏了碎片的問題，也是在引擎蓋下使用復(fù)制：

WintgreSQL還有文檔，MySQL群集是另一種產(chǎn)品。

獎(jiǎng)金：查詢緩存

如果您有一些沉重的查詢，該查詢是對很少發(fā)生更改的數(shù)據(jù)，您可以嘗試緩存查詢。我不確定默認(rèn)情況下的數(shù)據(jù)庫提供了什么，但您可以簡單地將鍵值存儲(chǔ)置于該查詢的位置。您可以直接向數(shù)據(jù)庫發(fā)送查詢，而不是將查詢發(fā)送到在鍵值存儲(chǔ)中查找它的微服務(wù)。如果它不存在或無效，則會(huì)查詢真實(shí)數(shù)據(jù)庫。

缺點(diǎn)是您不知道您獲得的數(shù)據(jù)是否是最近的數(shù)據(jù)。