僅20行代碼，實(shí)現(xiàn)文件自動(dòng)化上傳至sftp
1. 背景
最近接到一個(gè)產(chǎn)品需求是給指定的 sftp 服務(wù)器的指定目錄定時(shí)推送文件數(shù)據(jù)。
因?yàn)轫?xiàng)目組已有現(xiàn)成的組件可以輕松實(shí)現(xiàn) sftp 服務(wù)器文件的快速上傳，本來是一件很容易的事情，但是問題出現(xiàn)在這個(gè)指定的 sftp 服務(wù)器所指定的密碼帶有系統(tǒng)關(guān)鍵字和一些特殊字符，導(dǎo)致現(xiàn)在的組件在解析過程中會(huì)失敗。
因此重新開發(fā)了下面的這套腳本來滿足這個(gè)特殊的需求。
2. 代碼實(shí)現(xiàn)
Python代碼
#test_upload.py
import os, sys
import yaml
from optparse import OptionParser
import paramiko
import traceback
opt_parser = OptionParser()
opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
opt_parser.add_option('--local_file', action='store', type='string', dest='local_file', help='file to be transferred')
def load_config_from_param_conf(key):
"""
:param key: 指定業(yè)務(wù)所使用的sftp服務(wù)的名稱，例如sftp.yaml文件中的key: test_file_upload
:return: 從指定路徑拿到y(tǒng)aml文件并讀取指定key，返回例如sftp.yaml文件中key為test_file_upload下的配置選項(xiàng)值
包含: host,port,user,password,destination
"""
config_file = f'{os.environ["TASK_MAIN"]}/test_conf/sftp.yaml' #獲取指定路徑下的yaml文件
with open(config_file, 'r') as r: #打開yaml文件內(nèi)容
config = yaml.load(r) #轉(zhuǎn)換yaml數(shù)據(jù)為字典
return config['sftp']['upload'][key]
def upload(sftp_conf, local_file_path):
"""
:param sftp_conf: 獲取指定sftp_conf=test_file_upload下返回的字典值，這里的參數(shù)sftp_conf與load_config_from_param_conf函數(shù)里的參數(shù)值一致
:param local_file_path: 指定本地要上傳到sftp服務(wù)器的文件的絕對路徑
:return:
"""
sf = paramiko.Transport((sftp_conf['host'], sftp_conf['port']))
sf.connect(username=sftp_conf['user'], password=sftp_conf['password'])
sftp = paramiko.SFTPClient.from_transport(sf)
to_path = sftp_conf['destination']
sftp.put(local_file_path, to_path + os.sep + os.path.split(local_file_path)[-1], confirm=False)
sftp.close()
if __name__ == '__main__':
option = opt_parser.parse_args(sys.argv[1:])[0]
sftp_conf = load_config_from_param_conf(option.node)
try:
upload(sftp_conf, option.local_file)
except Exception as e:
print(traceback.format_exc())
raise Exception('upload {} file error.'.format(option.local_file))
sftp配置文件代碼
#sftp.yaml
sftp:
upload:
test_file_upload:
host: 10.12.34.6
port: 808
user: user_test
password: 8Z.Lx/2@UH
destination: /data/dump
3. 代碼分析
(1). yaml 模塊
import yaml
導(dǎo)入 yaml 模塊前可以使用以下命令進(jìn)行模塊的安裝
python3 -m pip install PyYaml
yaml 模塊在這里的作用是讀取 sftp 配置文件代碼，將指定key: test_file_upload 下的 key:value 的值轉(zhuǎn)換為字典。
例如：load_config_from_param_conf 函數(shù)中的返回值就是使用 yaml 讀取到 sftp 配置文件代碼后，返回 key: test_file_upload 下配置選項(xiàng)值。
格式如下：
{ "host": "10.12.34.6",
"port": "808",
"user": "user_test",
"password": "8Z.Lx/2@UH",
"destination": "/data/dump"
}最后將返回值傳給 upload 函數(shù)作為參數(shù)。
(2). OptionParser 模塊
from optparse import OptionParser
按照 yaml 模塊的安裝方法，先安裝 optparse 模塊后，然后在文件中從optparse 中導(dǎo)入 OptionParser 模塊
opt_parser = OptionParser()
opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
opt_parser.add_option('--local_file', action='store', type='string', dest='local_file', help='file to be uploaded')
在這里我使用了 OptionParser 這個(gè)類實(shí)例化了一個(gè)對象：opt_parser，通過對象來調(diào)用 add_option 方法添加了2個(gè)參數(shù)，分別是：node, local_file
1). 形參：--node，實(shí)參：node
所代表的業(yè)務(wù)含義是：指定要上傳的 sftp 的節(jié)點(diǎn)，具體參數(shù)值對應(yīng) sftp配置文件代碼中的 test_file_upload
2). 形參：--local_file，實(shí)參：local_file
所代表的業(yè)務(wù)含義是：指定本地需要被上傳到 sftp 服務(wù)器的具體文件路徑
3). 調(diào)用命令
python3 test_upload.py --node test_file_upload --local_file
/home/test/sftp_load/test_001.csv
4). add_option()方法
add_option()參數(shù)說明：
- action: 存儲方式，分別為:store,store_false,store_true
- type: 類型
- dest: 存儲的變量
- default: 默認(rèn)值
- help: 幫助信息
參數(shù)：action的枚舉
- store: 參數(shù)列表中帶有--node, 那么就會(huì)將下一個(gè)元素即：test_file_upload 作為其 dest 實(shí)參 node 的值; 如果沒有--node,那么對應(yīng)的node的值就為 None;
- store_true: 參數(shù)列表中有--local_file, 那么其 dest 實(shí)參 local_file 的值就為 True; 否者就為 default 定義的默認(rèn)值，這里沒有給定 default 的默認(rèn)值;
- store_false: 參數(shù)列表中有--local_file, 那么其 dest 實(shí)參 local_file 的值就為 False; 否者就為 default 定義的默認(rèn)值，這里沒有給定 default 的默認(rèn)值;
參數(shù)：type
type是指定傳入?yún)?shù)的類型，這里的參數(shù)類型為 string 類型。
參數(shù)：dest
dest是參數(shù)傳入后由哪個(gè)變量來存儲的，后面代碼對該參數(shù)的引用也是使用這里定義的變量名來引用的。
參數(shù)：default
default 是與 action 的值結(jié)合使用的。
- 當(dāng)action=store_true時(shí)，default=123時(shí)，如果有傳入形參--local_file，則實(shí)參local_file的值為：True
- 當(dāng)action=store_true時(shí)，default=123時(shí)，如果沒有傳入形參--local_file，則實(shí)參local_file的值為：123
- 當(dāng)action=store_false時(shí)，default=123時(shí)，如果有傳入形參--local_file，則實(shí)參local_file的值為：False
- 當(dāng)action=store_false時(shí)，default=123時(shí)，如果沒有傳入形參--local_file，則實(shí)參local_file的值為：123
參數(shù)：help
help相當(dāng)于幫助說明文檔，用于描述這個(gè)參數(shù)的含義。
