Python MySQL數(shù)據(jù)庫(kù)連接池組件
作者：冰是睡著的水
pymysqlpool 是數(shù)據(jù)庫(kù)工具包中新成員，目的是能提供一個(gè)實(shí)用的數(shù)據(jù)庫(kù)連接池中間件，從而避免在應(yīng)用中頻繁地創(chuàng)建和釋放數(shù)據(jù)庫(kù)連接資源。
引言
pymysqlpool 是數(shù)據(jù)庫(kù)工具包中新成員，目的是能提供一個(gè)實(shí)用的數(shù)據(jù)庫(kù)連接池中間件，從而避免在應(yīng)用中頻繁地創(chuàng)建和釋放數(shù)據(jù)庫(kù)連接資源。
功能
- 連接池本身是線程安全的，可在多線程環(huán)境下使用，不必?fù)?dān)心連接資源被多個(gè)線程共享的問(wèn)題;
- 提供盡可能緊湊的接口用于數(shù)據(jù)庫(kù)操作;
- 連接池的管理位于包內(nèi)完成，客戶端可以通過(guò)接口獲取池中的連接資源(返回 pymysql.Connection );
- 將最大程度地與 dataobj 等兼容，便于使用;
- 連接池本身具備動(dòng)態(tài)增加連接數(shù)的功能，即 max_pool_size 和 step_size 會(huì)用于控制每次增加的連接數(shù)和最大連接數(shù);
- 連接池最大連接數(shù)亦動(dòng)態(tài)增加，需要開(kāi)啟 enable_auto_resize 開(kāi)關(guān)，此后當(dāng)任何一次連接獲取超時(shí)發(fā)生，均記為一次懲罰，并且將 max_pool_size 擴(kuò)大一定倍數(shù)。
基本工作流程
注意，當(dāng)多線程同時(shí)請(qǐng)求時(shí)，若池中沒(méi)有可用的連接對(duì)象，則需要排隊(duì)等待
- 初始化后優(yōu)先創(chuàng)建 step_size 個(gè)連接對(duì)象，放在連接池中;
- 客戶端請(qǐng)求連接對(duì)象，連接池會(huì)從中挑選最近沒(méi)使用的連接對(duì)象返回(同時(shí)會(huì)檢查連接是否正常);
- 客戶端使用連接對(duì)象，執(zhí)行相應(yīng)操作后，調(diào)用接口返回連接對(duì)象;
- 連接池回收連接對(duì)象，并將其加入池中的隊(duì)列，供其它請(qǐng)求使用。
- |--------| |--------------|
- | | <==borrow connection object== | Pool manager |
- | Client | | |
- | | ==return connection object==> | FIFO queue |
- |--------| |--------------|
數(shù)配置
- pool_name: 連接池的名稱，多種連接參數(shù)對(duì)應(yīng)多個(gè)不同的連接池對(duì)象，多單例模式;
- host: 數(shù)據(jù)庫(kù)地址
- user: 數(shù)據(jù)庫(kù)服務(wù)器用戶名
- password: 用戶密碼
- database: 默認(rèn)選擇的數(shù)據(jù)庫(kù)
- port: 數(shù)據(jù)庫(kù)服務(wù)器的端口
- charset: 字符集，默認(rèn)為 ‘utf8’
- use_dict_cursor: 使用字典格式或者元組返回?cái)?shù)據(jù);
- max_pool_size: 連接池優(yōu)先最大連接數(shù);
- step_size: 連接池動(dòng)態(tài)增加連接數(shù)大小;
- enable_auto_resize: 是否動(dòng)態(tài)擴(kuò)展連接池，即當(dāng)超過(guò) max_pool_size 時(shí)，自動(dòng)擴(kuò)展 max_pool_size ;
- pool_resize_boundary: 該配置為連接池最終可以增加的上上限大小，即時(shí)擴(kuò)展也不可超過(guò)該值;
- auto_resize_scale: 自動(dòng)擴(kuò)展 max_pool_size 的增益，默認(rèn)為 1.5 倍擴(kuò)展;
- wait_timeout: 在排隊(duì)等候連接對(duì)象時(shí)，最多等待多久，當(dāng)超時(shí)時(shí)連接池嘗試自動(dòng)擴(kuò)展當(dāng)前連接數(shù);
- kwargs: 其他配置參數(shù)將會(huì)在創(chuàng)建連接對(duì)象時(shí)傳遞給 pymysql.Connection
使用示例
1.使用 cursor 上下文管理器(快捷方式，但每次獲取都會(huì)申請(qǐng)連接對(duì)象，多次調(diào)用效率不高)：
- from pymysqlpool import ConnectionPool
- config = {
- 'pool_name': 'test',
- 'host': 'localhost',
- 'port': 3306,
- 'user': 'root',
- 'password': 'root',
- 'database': 'test'
- }
- def connection_pool():
- # Return a connection pool instance
- pool = ConnectionPool(**config)
- pool.connect()
- return pool
- # 直接訪問(wèn)并獲取一個(gè) cursor 對(duì)象，自動(dòng) commit 模式會(huì)在這種方式下啟用
- with connection_pool().cursor() as cursor:
- print('Truncate table user')
- cursor.execute('TRUNCATE user')
- print('Insert one record')
- result = cursor.execute('INSERT INTO user (name, age) VALUES (%s, %s)', ('Jerry', 20))
- print(result, cursor.lastrowid)
- print('Insert multiple records')
- users = [(name, age) for name in ['Jacky', 'Mary', 'Micheal'] for age in range(10, 15)]
- result = cursor.executemany('INSERT INTO user (name, age) VALUES (%s, %s)', users)
- print(result)
- print('View items in table user')
- cursor.execute('SELECT * FROM user')
- for user in cursor:
- print(user)
- print('Update the name of one user in the table')
- cursor.execute('UPDATE user SET name="Chris", age=29 WHERE id = 16')
- cursor.execute('SELECT * FROM user ORDER BY id DESC LIMIT 1')
- print(cursor.fetchone())
- print('Delete the last record')
- cursor.execute('DELETE FROM user WHERE id = 16')
2.使用 connection 上下文管理器：
- import pandas as pd
- from pymysqlpool import ConnectionPool
- config = {
- 'pool_name': 'test',
- 'host': 'localhost',
- 'port': 3306,
- 'user': 'root',
- 'password': 'root',
- 'database': 'test'
- }
- def connection_pool():
- # Return a connection pool instance
- pool = ConnectionPool(**config)
- pool.connect()
- return pool
- with connection_pool().connection() as conn:
- pd.read_sql('SELECT * FROM user', conn)
- # 或者
- connection = connection_pool().borrow_connection()
- pd.read_sql('SELECT * FROM user', conn)
- connection_pool().return_connection(connection)
3.更多測(cè)試請(qǐng)移步 test_example.py 。
依賴
1.pymysql ：將依賴該工具包完成數(shù)據(jù)庫(kù)的連接等操作;
2.pandas ：測(cè)試時(shí)使用了 pandas。
安裝
1.移步 pymysqlpool: https://github.com/ChrisLeeGit/pymysqlpool 下載源碼，然后使用 pip 安裝即可： pip3 setup.py install ，注意需要使用 Python3 環(huán)境。
2.歡迎反饋，共同學(xué)習(xí)進(jìn)步
責(zé)任編輯：龐桂玉
來(lái)源：
36大數(shù)據(jù)
