一個比傳統數據庫快100-1000倍的數據庫，來看一看？
ClickHouse 是 Yandex（俄羅斯最大的搜索引擎）開源的一個用于實時數據分析的基于列存儲的數據庫，其處理數據的速度比傳統方法快 100-1000 倍。ClickHouse 的性能超過了目前市場上可比的面向列的 DBMS，每秒鐘每臺服務器每秒處理數億至十億多行和數十千兆字節的數據。
一、ClickHouse 是什么？
ClickHouse：是一個用于聯機分析(OLAP)的列式數據庫管理系統(DBMS)。
我們首先理清一些基礎概念
- OLTP：是傳統的關系型數據庫，主要操作增刪改查，強調事務一致性，比如銀行系統、電商系統
- OLAP：是倉庫型數據庫，主要是讀取數據，做復雜數據分析，側重技術決策支持，提供直觀簡單的結果
接著我們用圖示，來理解一下列式數據庫和行式數據庫區別
在傳統的行式數據庫系統中（MySQL、Postgres和MS SQL Server），數據按如下順序存儲：
在列式數據庫系統中（ClickHouse），數據按如下的順序存儲：
兩者在存儲方式上對比：
以上是ClickHouse基本介紹，更多可以查閱官方手冊。
二、業務問題
業務端現有存儲在Mysql中，5000萬數據量的大表及兩個輔表，單次聯表查詢開銷在3min+，執行效率極低。經過索引優化、水平分表、邏輯優化，成效較低，因此決定借助ClickHouse來解決此問題
最終通過優化，查詢時間降低至1s內，查詢效率提升200倍！
希望通過本文，可以幫助大家快速掌握這一利器，并能在實踐中少走彎路。
三、ClickHouse實踐
1.Mac下的Clickhouse安裝
我是通過docker安裝，查看教程。也可以下載CK編譯安裝，相對麻煩一些。
2.數據遷移：從Mysql到ClickHouse
ClickHouse支持Mysql大多數語法，遷移成本低，目前有五種遷移方案：
- create table engin mysql，映射方案數據還是在Mysql
- insert into select from，先建表，在導入
- create table as select from，建表同時導入
- csv離線導入
- streamsets
選擇第三種方案做數據遷移：
- CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')
3.性能測試對比
| 類型 | 數據量 | 表大小 | 查詢速度 |
|---|---|---|---|
| Mysql | 5000萬 | 10G | 205s |
| ClickHouse | 5000萬 | 600MB | 1s內 |
4.數據同步方案
1)臨時表
新建temp中間表，將Mysql數據全量同步到ClickHouse內temp表，再替換原ClickHouse中的表，適用數據量適度，增量和變量頻繁的場景
2)synch
開源的同步軟件推薦：synch 原理是通過Mysql的binlog日志，獲取sql語句，再通過消息隊列消費task
5.ClickHouse為什么快？
- 只需要讀取要計算的列數據，而非行式的整行數據讀取，降低IO cost
- 同列同類型，有十倍壓縮提升，進一步降低IO
- clickhouse根據不同存儲場景，做個性化搜索算法
四、遇到的坑
1.ClickHouse與mysql數據類型差異性
用Mysql的語句查詢，發現報錯：
解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉一下，統一無符號類型關聯
2.刪除或更新是異步執行，只保證最終一致性
查詢CK手冊發現，即便對數據一致性支持最好的Mergetree，也只是保證最終一致性：
如果對數據一致性要求較高，推薦大家做全量同步來解決
五、總結
通過ClickHouse實踐，完美的解決了Mysql查詢瓶頸，20億行以下數據量級查詢，90%都可以在1s內給到結果，隨著數據量增加，ClickHouse同樣也支持集群，大家如果感興趣，可以積極嘗試 : )
