MySQL讀寫分離神器：MyCat淺析

作者：王永偉 2022-04-25 08:03:57

如果沒(méi)有數(shù)據(jù)庫(kù)中間件（eg:MyCat） ,那么應(yīng)?將直接?對(duì)分?集群，數(shù)據(jù)源切換、事務(wù)處理、數(shù)據(jù)聚合都需要應(yīng)?直接處理，原本該是專注于業(yè)務(wù)的應(yīng)?，將會(huì)花?量的?作來(lái)處理分?后的問(wèn)題。

前言：

在如今的互聯(lián)?時(shí)代，?數(shù)據(jù)已成為?業(yè)發(fā)展的?個(gè)重要?向標(biāo)，?對(duì)于海量數(shù)據(jù)的處理?成為?論是技術(shù)還是業(yè)務(wù)發(fā)展中都不可回避的重要問(wèn)題。數(shù)據(jù)量越來(lái)越?，對(duì)性能要求越來(lái)越?;對(duì)于?量數(shù)據(jù)的存儲(chǔ)的現(xiàn)在主要分為兩種數(shù)據(jù)庫(kù)：關(guān)系型數(shù)據(jù)庫(kù)和 NoSQL 數(shù)據(jù)庫(kù)。

傳統(tǒng)數(shù)據(jù)庫(kù)天然存在著單機(jī)單庫(kù)瓶頸、難于擴(kuò)展;? NoSQL 產(chǎn)品的出現(xiàn)雖然彌補(bǔ)了傳統(tǒng)數(shù)據(jù)庫(kù)的性能問(wèn)題 ,但是不能完全替代傳統(tǒng)數(shù)據(jù)庫(kù)。

隨著業(yè)務(wù)量的擴(kuò)張和數(shù)據(jù)量的激增，系統(tǒng)負(fù)載很?的情況下，就必須對(duì)數(shù)據(jù)進(jìn)?分割。數(shù)據(jù)被分到多個(gè)分?數(shù)據(jù)庫(kù)后，應(yīng)?如果需要讀取數(shù)據(jù)，就要需要處理多個(gè)數(shù)據(jù)源的數(shù)據(jù)。

如果沒(méi)有數(shù)據(jù)庫(kù)中間件(eg:MyCat) ,那么應(yīng)?將直接?對(duì)分?集群，數(shù)據(jù)源切換、事務(wù)處理、數(shù)據(jù)聚合都需要應(yīng)?直接處理，原本該是專注于業(yè)務(wù)的應(yīng)?，將會(huì)花?量的?作來(lái)處理分?后的問(wèn)題。

MyCat 是什么?

對(duì)于 DBA 來(lái)說(shuō)：

MyCat 就是 MySql Server 增強(qiáng)版的存儲(chǔ)引擎。

對(duì)于軟件工程師來(lái)說(shuō)：

MyCat 就是數(shù)據(jù)庫(kù)服務(wù)器，可以像操作數(shù)據(jù)庫(kù)那樣操作MyCat。

對(duì)于架構(gòu)師來(lái)說(shuō)：

MyCat 是?個(gè)強(qiáng)?的數(shù)據(jù)庫(kù)中間件，不僅可以?作讀寫分離以及分庫(kù)分表，甚?可?于多租戶應(yīng)?開發(fā)、云平臺(tái)基礎(chǔ)設(shè)施，讓架構(gòu)具備很強(qiáng)的靈活性和適應(yīng)性。

MyCat的應(yīng)用場(chǎng)景：

1、?持讀寫分離、主從切換;

2、垂直分庫(kù)、?平分表;

3、多租戶應(yīng)?，如果每個(gè)應(yīng)??個(gè)庫(kù)，所有的應(yīng)該只需連接 Mycat,實(shí)現(xiàn)多租戶;

4、報(bào)表系統(tǒng)，處理?規(guī)模報(bào)表的統(tǒng)計(jì)。數(shù)據(jù)被切分到不同的分?數(shù)據(jù)庫(kù)上，當(dāng)應(yīng)?需要讀取數(shù)據(jù)時(shí)，中間件 mycat 就可以幫助開發(fā)?員進(jìn)?數(shù)據(jù)聚合、事務(wù)、數(shù)據(jù)源切換等處理，讓開發(fā)?員更加專注于業(yè)務(wù)開發(fā)。

MyCat 基本概念介紹：

邏輯庫(kù)(schema)：

對(duì)實(shí)際應(yīng)???，業(yè)務(wù)開發(fā)?員并不需要知道中間件的存在，所以 mycat 中間件?個(gè)或多個(gè)數(shù)據(jù)庫(kù)集群構(gòu)成的邏輯庫(kù)。

邏輯表(table)：

對(duì)應(yīng)?來(lái)說(shuō)，讀寫數(shù)據(jù)的表就是邏輯表。邏輯表是對(duì)應(yīng)邏輯庫(kù)存在的。

分片表：

指原有很?的數(shù)據(jù)表需要切分到不同數(shù)據(jù)庫(kù)上的表。

非分片表：

針對(duì)分?表來(lái)說(shuō)，原則上是不需要切分的表。

E-R 表：

基于關(guān)系型數(shù)據(jù)庫(kù)中實(shí)體關(guān)系模型，?表和?表記錄存放在同?個(gè)分?上，通過(guò)表分組保證數(shù)據(jù) join 不會(huì)出現(xiàn)跨庫(kù)操作。

全局表：

類似字典的表;變動(dòng)不頻繁、數(shù)據(jù)量總體變化不是很?、規(guī)模不超過(guò)10w 的表。

分片節(jié)點(diǎn)(dataNode)：

?個(gè)?表被分到不同的分?數(shù)據(jù)庫(kù)上?，每個(gè)表分?所在的數(shù)據(jù)庫(kù)就是分?節(jié)點(diǎn)

節(jié)點(diǎn)主機(jī)(dataHost)：

?個(gè)或多個(gè)分?節(jié)點(diǎn)(dataNode)所在的機(jī)器就是節(jié)點(diǎn)主機(jī)

分片規(guī)則(rule)：

?個(gè)?表被分成若?個(gè)分?表，就需要?定的規(guī)則，這樣按照某種業(yè)務(wù)規(guī)則把數(shù)據(jù)分到某個(gè)分?的規(guī)則就是分?規(guī)則。

MyCat連接池解讀：

MyCat通過(guò)共享?個(gè)MySQL上的所有物理連接，并結(jié)合連接狀態(tài)同步的特性，MyCat的連接池做到了最佳的吞吐量，也在?定程度上提升了整個(gè)系統(tǒng)的并發(fā)?撐能?。

其中ConMap 是存放連接池對(duì)象重要的數(shù)據(jù)結(jié)構(gòu)，ConMap部分源碼如下：

private final ConcurrentHashMap<string,< span=""> ConQueue> items = new ConcurrentHashMap();

public ConQueue getSchemaConQueue(String schema)

{

     // 根據(jù)schema 獲取當(dāng)前切?的連接

    ConQueue queue = items.get(schema);

    if (queue == null) { // 如果沒(méi)有可?連接，則新建

    ConQueue newQueue = new ConQueue();

    queue = items.putIfAbsent(schema,newQueue);

     return (queue == null) ? newQueue: queue;

}

     return queue;

}

public BackendConnection tryTakeCon(final String schema,

     boolean autoCommit)

{

    final ConQueue queue = items.get(schema);

    // 嘗試獲取?個(gè)可?連接

    BackendConnection con = tryTakeCon(queue,autoCommit);

    if (con != null) {

    return con;

}

如果沒(méi)有可?連接或者不是?動(dòng)模式，為了?效且充分利?數(shù)據(jù)庫(kù)連接，當(dāng)某個(gè)?戶會(huì)話需要?個(gè)?動(dòng)提交到分? dn1(對(duì)應(yīng)db1)的 SQL 連接的時(shí)候，連接池?先找是否有 db1 上的可?連接。

如果有，看是否有?動(dòng)提交模式的連接，找到就返回，否則返回 db1 上的?動(dòng)提交模式的連接，若沒(méi)有db1 的可?連接，則隨機(jī)返回?個(gè)其他 db 對(duì)應(yīng)的可?連接，若沒(méi)有可?連接，并且連接池還沒(méi)達(dá)到上限，則創(chuàng)建?個(gè)新連接并返回。

MyCat網(wǎng)絡(luò)模型NIO/AIO：

SocketConnector 發(fā)起連接請(qǐng)求類，如 MyCAT 與 MySQL 數(shù)據(jù)庫(kù)的連接，都是由 MyCAT 主動(dòng)發(fā)起連接請(qǐng)求。
SocketAcceptor 接收連接請(qǐng)求類，如 MyCAT 啟動(dòng) 9066 和 8066 分別偵聽管理員和應(yīng)?程序的連接請(qǐng)求。
SocketWR 讀寫操作類，SocketConnector 和 SocketAcceptor 只負(fù)責(zé) socket 建?，當(dāng) socket 連接建?后進(jìn)?字節(jié)的讀寫操作則由SocketWR 來(lái)完成。在 MyCAT 中，NIO 采?多 Reactor 模式,內(nèi)部維護(hù)?個(gè) Selector 選擇器分別處理不同是事件。例如 NIOConnector 類- selector 事件選擇器。

connectQueue 需要建?連接的對(duì)象，臨時(shí)放在這個(gè)隊(duì)列?
reactorPool 當(dāng)連接建?后，從 reactorPool 中分配?個(gè) NIOReactor，處理 Read和 Write 事件

connect 源碼解讀：

private void connect(Selector selector) {

AbstractConnection c = null;

while ((c = connectQueue.poll()) != null) {

      try {

           SocketChannel channel = (SocketChannel) c.getChannel();

           channel.register(selector, SelectionKey.OP_CONNECT, c);

           channel.connect(new InetSocketAddress(c.host, c.port));

           } catch (Exception e) {

                      LOGGER.error("error:",e);

           c.close(e.toString());

           }

}

// 處理connect事件，交給reactor處理

private void finishConnect(SelectionKey key, Object att) {

BackendAIOConnection c = (BackendAIOConnection) att;

       try {

       if (finishConnect(c, (SocketChannel) c.channel)) {

           clearSelectionKey(key);

           c.setId(ID_GENERATOR.getId());

           NIOProcessor processor =

                      MycatServer.getInstance().nextProcessor();

           c.setProcessor(processor);

           NIOReactor reactor = reactorPool.getNextReactor();

           reactor.postRegister(c);

           c.onConnectfinish();

}

} catch (Exception e) {

           clearSelectionKey(key);

           LOGGER.error("error:",e);

           c.close(e.toString());

           c.onConnectFailed(e);

}

                      }

判斷 connectQueue 中是否新的連接請(qǐng)求。
建??個(gè) SocketChannel。
在 selector 中進(jìn)行注冊(cè) OP_CONNECT。
發(fā)起 SocketChannel.connect()操作。

MyCat讀寫分離實(shí)戰(zhàn)：

在?些?型?站業(yè)務(wù)場(chǎng)景中，單臺(tái)數(shù)據(jù)庫(kù)提供的并發(fā)量已經(jīng)?法滿?業(yè)務(wù)需求;為了提供數(shù)據(jù)庫(kù)的并發(fā)能?和負(fù)載能?,?般通過(guò)讀寫分離來(lái)實(shí)現(xiàn)。

當(dāng)我們的數(shù)據(jù)庫(kù)實(shí)現(xiàn)讀寫分離的時(shí)候，在應(yīng)?中需要對(duì)數(shù)據(jù)源進(jìn)?切換， MyCat能夠幫我們更好的實(shí)現(xiàn)數(shù)據(jù)源的動(dòng)態(tài)切換，也就是應(yīng)?程序只需要連接MyCat中間件，?動(dòng)幫我們讀取讀寫的數(shù)據(jù)庫(kù)。

未采用MyCat中間件項(xiàng)目架構(gòu)：

采用MyCat中間件架構(gòu)：

兩者對(duì)比差異：

圖?需要在應(yīng)?程序中配置多個(gè)數(shù)據(jù)源,通過(guò)不同的業(yè)務(wù)需求動(dòng)態(tài)切換多個(gè)數(shù)據(jù)源。?通過(guò)MyCat以后,應(yīng)?程序只需要連接MyCat作為數(shù)據(jù)源，?便拓展，對(duì)現(xiàn)有的程序不影響。

搭建主從：

jdk 準(zhǔn)備：jdk1.7 往上版本
mysql 準(zhǔn)備,兩臺(tái)mysql服務(wù)，?臺(tái)作為主庫(kù)負(fù)責(zé)寫?數(shù)據(jù)，?臺(tái)是從庫(kù)負(fù)責(zé)讀數(shù)據(jù)
MyCat 安裝：MyCAT 有提供編譯好的安裝包，Mycat-server-xxxxx.linux.tar.gz 解壓
MyCat 相關(guān)?錄說(shuō)明：

bin 程序目錄，進(jìn)入到 bin目錄：

Linux 下運(yùn)?：./mycat console,?先要 chmod +x *conf ?錄下存放配置?件，server.xml 是 Mycat 服務(wù)器參數(shù)調(diào)整和?戶授權(quán)的配置?件，schema.xml 是邏輯庫(kù)定義和表以及分?定義的配置?件，rule.xml是分?規(guī)則的配置?件，分?規(guī)則的具體?些參數(shù)信息單獨(dú)存放為?件，version.txtlib ?錄下主要存放 mycat 依賴的?些 jar ?件.?志存放在 logs/mycat.log 中，每天?個(gè)?件，?志的配置是在conf/log4j.xml 中，根據(jù)??的需要，可以調(diào)整輸出級(jí)別為 debug，debug 級(jí)別下，會(huì)輸出更多的信息，?便排查問(wèn)題。

配置schemal.xml邏輯庫(kù)、邏輯表、分片：

<!-- 配置邏輯庫(kù)  -->



<schema name="TESTDB_YONG" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">

                      </schema>

<datanode name="dn1" dataHost="localhost1" database="yong_test" />

<!-- 配置讀寫分離  -->
"localhost1" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">

<!-- ?跳配置，檢測(cè)所屬的數(shù)據(jù)庫(kù)是否存活  -->

                                            <heartbe< span="">at>select user()

                             <!-- 寫主庫(kù)  -->

<writehost host="hostM1" url="jdbc:mysql://192.168.235.136:3306?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true" user="root" password="12345678">

writeHost>

                              <!-- 讀從庫(kù)  -->

<readhost host="hostS1" url="jdbc:mysql://192.168.235.133:3306?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true" user="root" password="12345678">

readHost>

dataHost>

配置server.xml，主要配置連接MyCat的邏輯庫(kù)、邏輯表訪問(wèn)權(quán)限的配置：

<!-- 邏輯庫(kù)、邏輯表訪問(wèn)權(quán)限配置  ?戶名  name=root 密碼passwors=123456 -->
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">TESTDB_YONG</property>
<property name="defaultSchema">TESTDB_YONG</property>
<!-- 表級(jí)  DML 權(quán)限設(shè)置  -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>

讀寫分離測(cè)試：

準(zhǔn)備兩臺(tái)mysql服務(wù)器，?臺(tái)配置為主數(shù)據(jù)庫(kù)，負(fù)責(zé)數(shù)據(jù)的寫?，?臺(tái)配置為從數(shù)據(jù)庫(kù)，負(fù)責(zé)數(shù)據(jù)的讀取。
數(shù)據(jù)庫(kù)中間件MyCat通過(guò)shcemal.xml和server.xml配置兩臺(tái)數(shù)據(jù)庫(kù)的讀寫。
啟動(dòng)MyaCat服務(wù)，連接mycat實(shí)現(xiàn)讀寫分離數(shù)據(jù)源的切換：
mysql -h127.0.0.1 -P8066 -uroot -p
連接成功后，然后業(yè)務(wù)開發(fā)?員就可以像操作數(shù)據(jù)庫(kù)那樣使? mycat,mycat 會(huì)根據(jù)配置的相關(guān)路由規(guī)則對(duì)數(shù)據(jù)進(jìn)?分?存儲(chǔ)和匯總。

通過(guò)MyCat插?數(shù)據(jù)：

insert into test(id, name) value (1,'wyw');

Query OK, 1 row affected (0.05 sec)

查看主從數(shù)據(jù)庫(kù)是否有數(shù)據(jù)，

訪問(wèn)數(shù)據(jù)：

select * from test where id = 1;

±-----+

| id |

±-----+

| 1 |

±-----+

1 rows in set (0.00 sec)

根據(jù)MyCat的運(yùn)??志查看讀寫分離的的實(shí)質(zhì)：mycat/logs/mycat.log

查詢指令在從服務(wù)器上：

責(zé)任編輯：武曉燕來(lái)源：新鈦云服