僅用幾行代碼就擼了個數據庫！
本文轉載自微信公眾號「小菜學編程」，作者fasionchan 。轉載本文請聯系小菜學編程公眾號。
最近重讀《數據密集型應用系統設計》這本書，看到第三章《數據存儲與檢索》，主要講數據庫內部的索引技術。
從本質上講，數據庫主要是做兩件事情：
- 當你給它數據時，它幫你保存數據(存儲);
- 當你查詢數據時，它幫你取回數據(檢索);
這兩件事情看似簡單，背后卻暗含玄機。那么，數據庫內部到底是如何存儲數據的呢?又是如何檢索數據的呢?
你可能會有這樣的疑問：我作為一個開發人員，為什么需要知道數據庫內部是怎么工作的呢?
我們顯然不會自己從零開始，擼一個存儲引擎。但由于市面上有太多數據庫產品，我們需要從中挑一個最適合自己應用場景的。為了提高性能，我們也需要根據應用負載特征，對數據庫進行調優。因此，必須對數據庫底層技術有一些了解，知道它在背后都干了什么。
根據應用負載特征，數據庫大致可以分為兩種：
- 一種針對 在線事務型 業務，多采用 行式存儲 方式;
- 一種針對 離線分析型 業務，多采用 列式存儲 方式;
為了提高檢索速度，索引必不可少。不同存儲引擎采用的索引技術也不太一樣，大致可以分為兩種：
- 日志式存儲引擎( log-structured )，比如 LSM樹 ;
- 頁式存儲引擎( page-oriented )，比如 B樹 ;
為了引出這些概念，作者用幾行 Shell 代碼，寫了一個玩具數據庫拋磚引玉：
- #!/bin/bash
- db_set() {
- echo "$1,$2" >> database
- }
- db_get() {
- grep "^$1," database | sed -e "s/^$1,//" | tail -n 1
- }
這兩個簡短的 Shell 函數實現了一個 KV 式數據庫引擎。麻雀雖小，五臟俱全!它提供了兩個基本操作：
- db_set ，保存鍵值對數據，即將鍵值用逗號分隔追加到名為 database 的數據文件;
- db_get ，按鍵取出對應的數據，即從 database 文件中過濾出最后一行包含指定鍵的數據;
這個玩具數據庫可以這樣用，比如保存鍵值對數據：
- fasion@SmartPro [ ~ ] ➜ db_set 1 fasionchan.com
- fasion@SmartPro [ ~ ] ➜ db_set 2 小菜學編程
- fasion@SmartPro [ ~ ] ➜ db_set 3 Python源碼剖析
數據最終保存在 database 文件中，每個鍵值對一行，格式大致長這樣：
- fasion@SmartPro [ ~ ] ➜ cat database
- 1,fasionchan.com
- 2,小菜學編程
- 3,Python源碼剖析
隨后可以這樣查詢數據：
- fasion@SmartPro [ ~ ] ➜ db_get 1
- fasionchan.com
- fasion@SmartPro [ ~ ] ➜ db_get 3
- Python源碼剖析
修改數據時，新記錄被追加到 database 文件末尾，舊數據不會刪：
- fasion@SmartPro [ ~ ] ➜ db_set 3 Python源碼深度剖析
- fasion@SmartPro [ ~ ] ➜ cat database
- 1,fasionchan.com
- 2,小菜學編程
- 3,Python源碼剖析
- 3,Python源碼深度剖析
因此，我們查詢數據時，db_set 最后需要執行 tail 命令，以最新的那條為準：
- fasion@SmartPro [ ~ ] ➜ db_get 3
- Python源碼深度剖析
這個玩具看上去挺有意思的，但它的性能到底如何呢?
db_set 操作的性能非常好，因為它只是將數據記錄追加到 database 文件的末尾，這通常都很快。
跟 db_set 類似，很多數據庫內部也有一個只追加的數據文件，一般叫做操作日志。雖然實際數據庫需要考慮更多因素，包括并發控制、磁盤空間重用、錯誤處理等等，但基本原理都是一樣的。
然而，如果數據庫中有大量數據，db_get 操作的性能會非常差。因為每次你查詢一個鍵，db_get 都必須掃描整個數據庫文件!這是一個典型的 操作，數據庫記錄數增加一倍，查詢開銷就會增大一倍!這可不太好!
為了在數據庫中快速檢索數據，我們還需要另一個數據結構：索引 。索引是一些額外的元數據( metadata )，就像路標一樣，可以幫我們快速定位數據。如果你的數據有多種查詢條件，則可能需要建多個索引。
索引可以加快查詢，但也會帶來額外的開銷，特別是對寫操作。任何索引都會降低寫性能，因為每次數據寫入后，都要更新索引。因此，每個存儲系統都需要根據實際情況做出權衡：
- 索引選得好可以加快查詢;
- 索引一定會降低寫性能;
因此，數據庫通常不會默認建好索引，需要開發人員或數據庫管理員自行選擇。想要以最小的代價換取最大收益，不僅需要對應用的查詢模式有準確把握，還需要對數據庫內部索引技術有一定了解。
