南洋理工發布量化交易大師TradeMaster，涵蓋15種強化學習算法
近日，量化平臺大家庭迎來了一位新成員，基于強化學習的開源平臺: TradeMaster— 交易大師。
TradeMaster 由南洋理工大學開發，是一個涵蓋四大金融市場，六大交易場景，15 種強化學習算法以及一系列可視化評價工具的統一的，端到端的，用戶友好的量化交易平臺！
平臺地址: https://github.com/TradeMaster-NTU/TradeMaster
背景介紹
近年來，人工智能技術在量化交易策略中正在占據越來越重要的地位。由于具有在復雜環境中突出的決策能力，將強化學習技術應用于量化交易中任務存在巨大的潛力。然而金融市場的低信噪比和強化學習算法訓練不穩定的特點使得強化學習算法目前還無法大規模部署在真實金融市場中，具體挑戰如下:
- 開發流程復雜，包含極大的工程量，難以實現
- 算法性能高度依賴于測試時的市場狀態，風險較高，難以系統評價
- 算法的設計，優化，和維護有存在較高的技術門檻，難以大規模部署。
TradeMaster 的發布為這個領域提供了一款軟件工具，一個行業基準和一類工業級產品接口以解決上文中的三個挑戰。
TradeMaster 對于產學研用深度融合的潛在貢獻
TradeMaster 框架
TradeMaster 由六個核心模塊組成，包含了用于量化交易強化學習算法的設計，實現，測試，部署的完整流程，下面我們為大家具體介紹：
TradeMaster 平臺的框架結構
數據模塊：TradeMaster 提供了長周期多模態 (K 線和訂單流) 不同粒度 (分鐘級到日級) 的金融數據，涵蓋四個主要市場：中國，美國股和外匯。
預處理模塊：TradeMaster 提供了標準化的金融時序數據預處理的 pipeline，包含 6 個步驟：1. 數據清洗 2. 數據填充 3. 正則化 4. 自動特征發掘 5. 特征嵌入 6. 特征選擇
模擬器模塊：TradeMaster 提供了一系列的數據驅動的高質量金融市場模擬器，支持 6 個主流量化交易任務：1. 貨幣交易 2. 資產組合管理 3. 日內交易 4. 訂單執行 5. 高頻交易 6. 做市
算法模塊：TradeMaster 實現了 7 個最新的基于強化學習的交易算法 ( DeepScalper，OPD，DeepTrader，SARL，ETTO，Investor-Imitator，EIIE ) 和 8 個經典強化算法 ( PPO，A2C，Rainbow，SAC，DDPG，DQN，PG，TD3 )。與此同時，TradeMaster 引入了自動化機器學習技術來幫助用戶高效的調整訓練強化學習算法的超參數。
評價模塊：TradeMaster 實現了 17 個評價指標和可視化工具從收益能力，風險控制，多樣性，可解釋性，魯棒性，通用型 6 個維度給出系統化的評價。以下是兩個例子：
表示收益能力，風險控制，策略多樣性的雷達圖
金融時序數據可視化
運行流程偽代碼
TradeMaster 基于面向對象的編程思想，對不同功能模塊進行封裝，實現了不同模塊之前的功能解偶和封裝，具有良好的可擴展性和復用性，具體流程包含如下 6 個步驟：
測試結果
以道瓊斯 30 指數上的投資組合這一經典任務為例，EIIE 算法在測試集上取得了穩定的正收益和較高的夏普比：
TradeMaster 教程
TradeMaster 提供了一系列針對多個金融市場不同交易任務的強化學習算法教程，通過 Jupyter Notebook 的形式呈現以方便用戶快速上手：
詳情見：https://github.com/TradeMaster-NTU/TradeMaster/tree/1.0.0/tutorial
