XXL-JOB GLUE任務第三方依賴包的管理實踐
背景
xxl-job 是一個分布式任務調度平臺，它的應用場景非常廣泛，例如定時任務、消息推送、批處理等。xxl-job 中的任務類型主要有兩種：
BEAN模式（方法形式）
支持基于方法的開發方式，每個任務對應一個方法。
- 優點：每個任務只需要開發一個方法，并添加”@XxlJob”注解即可，更加方便、快速。支持自動掃描任務并注入到執行器容器。
- 缺點：要求Spring容器環境；
基于方法開發的任務，底層會生成JobHandler代理，和基于類的方式一樣，任務也會以JobHandler的形式存在于執行器任務容器中。
GLUE模式（源碼方式）
任務以源碼方式維護在調度中心，支持通過Web IDE在線更新，實時編譯和生效，因此不需要指定JobHandler。例如我的代碼是python類型的代碼,點擊該任務右側“GLUE”按鈕，將會前往GLUE任務的Web IDE界面，在該界面支持對任務代碼進行開發。
GLUE Python任務代碼編輯
- 優點：這種方式相比 BEAN 模式更加靈活，因為任務邏輯不一定要用 Java 實現。
- 缺點：存在一定的安全風險，因為執行器可以執行任意的腳本文件
但是大家注意到沒有，這個地方沒有涉及應用的環境問題，比如我的是java代碼，那我的程序中的某個包是否在本地能被引用到，即通過maven或是gradle已經下載本地了，或是我的python代碼的依賴包是否在當前環境pip install了，我們從官方的github issues中，看到有很多同學提到了這些問題.但是這個官方沒有給出具體的解決方案。這篇文檔，就給大家談談這個問題。
https://github.com/xuxueli/xxl-job/issues/129
https://github.com/xuxueli/xxl-job/issues/254
https://github.com/xuxueli/xxl-job/issues/1401
GLUE模式(Java)任務依賴環境構建
在 xxl-job 的 GLUE 模式下，如果任務類型為 Java 類型，那么需要保證任務依賴的相關 JAR 包已經下載到本地環境中，否則任務執行會出現 ClassNotFoundException 等類加載異常。
一種比較簡單的方式是將任務依賴的 JAR 包打成一個 Fat Jar，然后將 Fat Jar 放在執行器的 classpath 中即可。Fat Jar 是將多個 JAR 包合并成一個 JAR 包的方式，執行時只需要引入這個 JAR 包即可。例如我們修改執行器的pom.xml,加入fastjson（相當于把jar放到了執行器的classpath中）,然后我們的DemoGlueJobHandler便可以引用fastjson里面的類了。
<!-- 阿里JSON解析器 -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.68</version>
</dependency>
demo glue直接引用相關類
demo glue執行結果
除了把依賴包提前放到執行器的classpath之外（可能會有包的沖突），還可以在任務執行前，通過代碼動態加載依賴的 JAR 包，避免手動打包依賴的麻煩。可以使用 URLClassLoader 類實現動態加載。首先我們把依賴的包放在一個共享盤上，保證執行器可以直接訪問到，然后通過反射機制實現代碼的調用與執行。具體實現方式可以參考以下代碼示例：
package com.xxl.job.service.handler;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.IJobHandler;
import java.lang.reflect.Method;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLClassLoader;
public class DemoGlueJobHandler extends IJobHandler {
// 定義一個用于加載外部 JAR 包的 ClassLoader
public class MyClassLoader extends URLClassLoader {
public MyClassLoader(URL[] urls) {
super(urls);
}
}
// 加載外部 JAR 包的方法
public void loadJars(String[] jarPaths) {
URL[] urls = new URL[jarPaths.length];
for (int i = 0; i < jarPaths.length; i++) {
try {
urls[i] = new URL("file:" + jarPaths[i]);
} catch (MalformedURLException e) {
e.printStackTrace();
}
}
MyClassLoader myClassLoader = new MyClassLoader(urls);
Thread.currentThread().setContextClassLoader(myClassLoader);
}
@Override
public void execute() throws Exception {
// 加載外部 JAR 包
loadJars(new String[] {"/Users/dongluyang1/.m2/repository/com/alibaba/fastjson/1.2.28/fastjson-1.2.28.jar"});
ClassLoader contextClassLoader = Thread.currentThread().getContextClassLoader();
Class<?> jsonObjectClass = contextClassLoader.loadClass("com.alibaba.fastjson.JSONObject");
Method put = jsonObjectClass.getMethod("put", String.class,Object.class);
Object object = jsonObjectClass.newInstance();
put.invoke(object, "keyTest","valueTest");
Method toJSONString = jsonObjectClass.getMethod("toJSONString");
// 執行任務邏輯
XxlJobHelper.log("XXL-JOB, Hello World."+toJSONString.invoke(object));
}
}
demo glue反射運行結果
GLUE模式(Python)任務依賴環境構建
在 xxl-job 的 GLUE 模式下，如果任務類型為 Python 類型，那么需要保證任務依賴的相關庫已經下載到本地環境中，否則任務執行會出現 ImportError 等異常。
一種常用的方式是使用 Python 虛擬環境（Virtual Environment）來管理依賴庫。虛擬環境是 Python 的一個功能，可以在一個獨立的環境中安裝 Python 和相關庫，不會影響到全局環境。
- 首先生成python代碼文件，存儲到公共目錄，比如NFS某個目錄下面
- 創建一個腳本文件，同時在任務的腳本中創建虛擬環境，安裝所需的依賴庫。可以使用以下命令：
# 創建虛擬環境
python3 -m venv /path/to/virtualenv
# 激活虛擬環境
source /path/to/virtualenv/bin/activate
# 安裝依賴庫
pip3 install package1 package2 ...
# 執行任務邏輯
...
# 退出虛擬環境
deactivate
