前言

在單機應(yīng)用時期，任務(wù)調(diào)度一般都是基于spring schedule和集成quartz來實現(xiàn)的，當(dāng)系統(tǒng)發(fā)展成分布式服務(wù)，應(yīng)用多實例的時候，任務(wù)就會出現(xiàn)多次調(diào)用的問題，很多時候我們?nèi)蝿?wù)并不需要跑多次。解決方案有很多，最最簡單粗暴的就是可以設(shè)置應(yīng)用開關(guān)。其次就是集中式話任務(wù)管理調(diào)度。當(dāng)然，quartz也有集群模式，但是基于api控制并不直觀。下面介紹一個集中式的分布式任務(wù)調(diào)度框架，可以很方便的解決分布式任務(wù)調(diào)度的問題

xxl-job簡介

XXL-JOB是一個輕量級分布式任務(wù)調(diào)度框架，其核心設(shè)計目標(biāo)是開發(fā)迅速、學(xué)習(xí)簡單、輕量級、易擴展?，F(xiàn)已開放源代碼并接入多家公司線上產(chǎn)品線，開箱即用。

功能如下

1、簡單：支持通過Web頁面對任務(wù)進行CRUD操作，操作簡單，一分鐘上手；

2、動態(tài)：支持動態(tài)修改任務(wù)狀態(tài)、暫停/恢復(fù)任務(wù)，以及終止運行中任務(wù)，即時生效；

3、調(diào)度中心HA（中心式）：調(diào)度采用中心式設(shè)計，“調(diào)度中心”基于集群Quartz實現(xiàn)，可保證調(diào)度中心HA；

4、執(zhí)行器HA（分布式）：任務(wù)分布式執(zhí)行，任務(wù)"執(zhí)行器"支持集群部署，可保證任務(wù)執(zhí)行HA；

5、任務(wù)Failover：執(zhí)行器集群部署時，任務(wù)路由策略選擇"故障轉(zhuǎn)移"情況下調(diào)度失敗時將會平滑切換執(zhí)行器進行Failover；

6、一致性：“調(diào)度中心”通過DB鎖保證集群分布式調(diào)度的一致性, 一次任務(wù)調(diào)度只會觸發(fā)一次執(zhí)行；

7、自定義任務(wù)參數(shù)：支持在線配置調(diào)度任務(wù)入?yún)ⅲ磿r生效；

8、調(diào)度線程池：調(diào)度系統(tǒng)多線程觸發(fā)調(diào)度運行，確保調(diào)度精確執(zhí)行，不被堵塞；

9、彈性擴容縮容：一旦有新執(zhí)行器機器上線或者下線，下次調(diào)度時將會重新分配任務(wù)；

10、郵件報警：任務(wù)失敗時支持郵件報警，支持配置多郵件地址群發(fā)報警郵件；

11、狀態(tài)監(jiān)控：支持實時監(jiān)控任務(wù)進度；

12、Rolling執(zhí)行日志：支持在線查看調(diào)度結(jié)果，并且支持以Rolling方式實時查看執(zhí)行器輸出的完整的執(zhí)行日志；

13、GLUE：提供Web IDE，支持在線開發(fā)任務(wù)邏輯代碼，動態(tài)發(fā)布，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。

14、數(shù)據(jù)加密：調(diào)度中心和執(zhí)行器之間的通訊進行數(shù)據(jù)加密，提升調(diào)度信息安全性；

15、任務(wù)依賴：支持配置子任務(wù)依賴，當(dāng)父任務(wù)執(zhí)行結(jié)束且執(zhí)行成功后將會主動觸發(fā)一次子任務(wù)的執(zhí)行, 多個子任務(wù)用逗號分隔；

16、推送maven中央倉庫: 將會把最新穩(wěn)定版推送到maven中央倉庫, 方便用戶接入和使用;

17、任務(wù)注冊: 執(zhí)行器會周期性自動注冊任務(wù), 調(diào)度中心將會自動發(fā)現(xiàn)注冊的任務(wù)并觸發(fā)執(zhí)行。同時，也支持手動錄入執(zhí)行器地址；

18、路由策略：執(zhí)行器集群部署時提供豐富的路由策略，包括：第一個、最后一個、輪詢、隨機、一致性HASH、最不經(jīng)常使用、最近最久未使用、故障轉(zhuǎn)移、忙碌轉(zhuǎn)移等；

19、運行報表：支持實時查看運行數(shù)據(jù)，如任務(wù)數(shù)量、調(diào)度次數(shù)、執(zhí)行器數(shù)量等；以及調(diào)度報表，如調(diào)度日期分布圖，調(diào)度成功分布圖等；

20、腳本任務(wù)：支持以GLUE模式開發(fā)和運行腳本任務(wù)，包括Shell、Python等類型腳本;

21、阻塞處理策略：調(diào)度過于密集執(zhí)行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄后續(xù)調(diào)度、覆蓋之前調(diào)度；

22、失敗處理策略；調(diào)度失敗時的處理策略，策略包括：失敗告警（默認）、失敗重試；

23、分片廣播任務(wù)：執(zhí)行器集群部署時，任務(wù)路由策略選擇"分片廣播"情況下，一次任務(wù)調(diào)度將會廣播觸發(fā)集群中所有執(zhí)行器執(zhí)行一次任務(wù)，可根據(jù)分片參數(shù)開發(fā)分片任務(wù)；

24、動態(tài)分片：分片廣播任務(wù)以執(zhí)行器為維度進行分片，支持動態(tài)擴容執(zhí)行器集群從而動態(tài)增加分片數(shù)量，協(xié)同進行業(yè)務(wù)處理；在進行大數(shù)據(jù)量業(yè)務(wù)操作時可顯著提升任務(wù)處理能力和速度。

25、事件觸發(fā)：除了"Cron方式"和"任務(wù)依賴方式"觸發(fā)任務(wù)執(zhí)行之外，支持基于事件的觸發(fā)任務(wù)方式。調(diào)度中心提供觸發(fā)任務(wù)單次執(zhí)行的API服務(wù)，可根據(jù)業(yè)務(wù)事件靈活觸發(fā)。

快速入門

項目地址為：https://github.com/xuxueli/xxl-job

2.1 初始化“調(diào)度數(shù)據(jù)庫”

請下載項目源碼并解壓，獲取 "調(diào)度數(shù)據(jù)庫初始化SQL腳本" 并執(zhí)行即可，正常情況下應(yīng)該生成16張表。

"調(diào)度數(shù)據(jù)庫初始化SQL腳本" 位置為:

/xxl-job/doc/db/tables_xxl_job.sql

調(diào)度中心支持集群部署，集群情況下各節(jié)點務(wù)必連接同一個mysql實例;

如果mysql做主從,調(diào)度中心集群節(jié)點務(wù)必強制走主庫;

2.2 編譯源碼

解壓源碼,按照maven格式將源碼導(dǎo)入IDE, 使用maven進行編譯即可，源碼結(jié)構(gòu)如下：

xxl-job-admin：調(diào)度中心
xxl-job-core：公共依賴
xxl-job-executor：執(zhí)行器Sample示例（選擇合適的版本執(zhí)行器，可直接使用，也可以參考其并將現(xiàn)有項目改造成執(zhí)行器）
    ：xxl-job-executor-sample-spring：Spring版本，通過Spring容器管理執(zhí)行器，比較通用，推薦這種方式；
    ：xxl-job-executor-sample-springboot：Springboot版本，通過Springboot管理執(zhí)行器；
    ：xxl-job-executor-sample-jfinal：JFinal版本，通過JFinal管理執(zhí)行器；

2.3 配置部署“調(diào)度中心”

調(diào)度中心項目：xxl-job-admin
作用：統(tǒng)一管理任務(wù)調(diào)度平臺上調(diào)度任務(wù)，負責(zé)觸發(fā)調(diào)度執(zhí)行，并且提供任務(wù)管理平臺。

步驟一：調(diào)度中心配置：

調(diào)度中心配置文件地址：

/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

調(diào)度中心配置內(nèi)容說明：

### 調(diào)度中心JDBC鏈接：鏈接地址請保持和 2.1章節(jié) 所創(chuàng)建的調(diào)度數(shù)據(jù)庫的地址一致

xxl.job.db.driverClass=com.mysql.jdbc.Driver
xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8
xxl.job.db.user=root
xxl.job.db.password=root_pwd

### 報警郵箱

xxl.job.mail.host=smtp.163.com
xxl.job.mail.port=25
xxl.job.mail.username=ovono802302@163.com
xxl.job.mail.password=asdfzxcv
xxl.job.mail.sendFrom=ovono802302@163.com
xxl.job.mail.sendNick=《任務(wù)調(diào)度平臺XXL-JOB》

### 登錄賬號

xxl.job.login.username=admin
xxl.job.login.password=123456

### 調(diào)度中心通訊TOKEN，非空時啟用

xxl.job.accessToken=

步驟二：部署項目：

如果已經(jīng)正確進行上述配置，可將項目編譯打war包并部署到tomcat中。 調(diào)度中心訪問地址：http://localhost:8080/xxl-job-admin (該地址執(zhí)行器將會使用到，作為回調(diào)地址)，登錄后運行界面如下圖所示

至此“調(diào)度中心”項目已經(jīng)部署成功。

步驟三：調(diào)度中心集群（可選）：

調(diào)度中心支持集群部署，提升調(diào)度系統(tǒng)可用性。

集群部署唯一要求為：保證每個集群節(jié)點配置（db和登陸賬號等）保持一致。調(diào)度中心通過db配置區(qū)分不同集群。

調(diào)度中心在集群部署時可通過nginx負載均衡，此時可以為集群分配一個域名。該域名一方面可以用于訪問，另一方面也可以用于配置執(zhí)行器回調(diào)地址。

2.4 配置部署“執(zhí)行器項目”

“執(zhí)行器”項目：xxl-job-executor-sample-spring (如新建執(zhí)行器項目，可參考該Sample示例執(zhí)行器項目的配置步驟；)

作用：負責(zé)接收“調(diào)度中心”的調(diào)度并執(zhí)行；可直接部署執(zhí)行器，也可以將執(zhí)行器集成到現(xiàn)有業(yè)務(wù)項目中。

步驟一：maven依賴確認pom文件中引入了 "xxl-job-core" 的maven依賴；

步驟二：執(zhí)行器配置執(zhí)行器配置，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-spring/src/main/resources/xxl-job-executor.properties

執(zhí)行器配置，配置內(nèi)容說明：

### xxl-job admin address list：調(diào)度中心部署跟地址：如調(diào)度中心集群部署存在多個地址則用逗號分隔。執(zhí)行器將會使用該地址進行"執(zhí)行器心跳注冊"和"任務(wù)結(jié)果回調(diào)"。

xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### xxl-job executor address：執(zhí)行器"AppName"和地址信息配置：AppName執(zhí)行器心跳注冊分組依據(jù)；地址信息用于"調(diào)度中心請求并觸發(fā)任務(wù)"和"執(zhí)行器注冊"。執(zhí)行器默認端口為9999，執(zhí)行器IP默認為空表示自動獲取IP，多網(wǎng)卡時可手動設(shè)置指定IP，手動設(shè)置IP時將會綁定Host。單機部署多個執(zhí)行器時，注意要配置不同執(zhí)行器端口；

xxl.job.executor.appname=xxl-job-executor-sample
xxl.job.executor.ip=
xxl.job.executor.port=9999

### xxl-job log path：執(zhí)行器運行日志文件存儲的磁盤位置，需要對該路徑擁有讀寫權(quán)限
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler/

### xxl-job, access token：執(zhí)行器通訊TOKEN，非空時啟用

xxl.job.accessToken=

步驟三：執(zhí)行器組件配置執(zhí)行器組件，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-spring/src/main/resources/applicationcontext-xxl-job.xml

執(zhí)行器組件，配置內(nèi)容說明：

<!-- 配置01、JobHandler 掃描路徑：自動掃描容器中JobHandler -->
<context:component-scan base-package="com.xxl.job.executor.service.jobhandler" />

<!-- 配置02、執(zhí)行器Excutor配置：執(zhí)行器核心配置 -->
???????<bean id="xxlJobExecutor" class="com.xxl.job.core.executor.XxlJobExecutor" init-method="start" destroy-method="destroy" >
    <!-- 執(zhí)行器IP[選填]，為空則自動獲取 -->
    <property name="ip" value="${xxl.job.executor.ip}" />
    <!-- 執(zhí)行器端口號[必須] -->
    <property name="port" value="${xxl.job.executor.port}" />
    <!-- 執(zhí)行器AppName[選填]，為空則關(guān)閉自動注冊 -->
    <property name="appName" value="${xxl.job.executor.appname}" />
    <!-- 執(zhí)行器注冊中心地址[選填]，為空則關(guān)閉自動注冊 -->
    <property name="adminAddresses" value="${xxl.job.admin.addresses}" />
    <!-- 執(zhí)行器日志路徑[必填] -->
    <property name="logPath" value="${xxl.job.executor.logpath}" />
    <!-- 訪問令牌，非空則進行匹配校驗[選填] -->
    <property name="accessToken" value="${xxl.job.accessToken}" />
</bean>

步驟四：部署執(zhí)行器項目：如果已經(jīng)正確進行上述配置，可將執(zhí)行器項目編譯打部署，系統(tǒng)提供三個執(zhí)行器Sample示例項目，選擇其中一個即可，各自的部署方式如下。

xxl-job-executor-sample-spring：項目編譯打包成WAR包，并部署到tomcat中。
xxl-job-executor-sample-springboot：項目編譯打包成springboot類型的可執(zhí)行JAR包，命令啟動即可；

至此“執(zhí)行器”項目已經(jīng)部署結(jié)束。

步驟五：執(zhí)行器集群（可選）：

執(zhí)行器支持集群部署，提升調(diào)度系統(tǒng)可用性，同時提升任務(wù)處理能力。

集群部署唯一要求為：保證集群中每個執(zhí)行器的配置項 "xxl.job.admin.addresses/調(diào)度中心地址" 保持一致，執(zhí)行器根據(jù)該配置進行執(zhí)行器自動注冊等操作。

2.5 開發(fā)第一個任務(wù)“Hello World”

本示例以新建一個 “GLUE模式(Java)” 運行模式的任務(wù)為例。更多有關(guān)任務(wù)的詳細配置，請查看“章節(jié)三：任務(wù)詳解”。 （ “GLUE模式(Java)”的執(zhí)行代碼托管到調(diào)度中心在線維護，相比“Bean模式任務(wù)”需要在執(zhí)行器項目開發(fā)部署上線，更加簡便輕量）

前提：請確認“調(diào)度中心”和“執(zhí)行器”項目已經(jīng)成功部署并啟動；

步驟一：新建任務(wù)：登錄調(diào)度中心，點擊下圖所示“新建任務(wù)”按鈕，新建示例任務(wù)。然后，參考下面截圖中任務(wù)的參數(shù)配置，點擊保存。

步驟二：“GLUE模式(Java)” 任務(wù)開發(fā)：

請點擊任務(wù)右側(cè) “GLUE” 按鈕，進入 “GLUE編輯器開發(fā)界面” ，見下圖。“GLUE模式(Java)” 運行模式的任務(wù)默認已經(jīng)初始化了示例任務(wù)代碼，即打印Hello World。 （ “GLUE模式(Java)” 運行模式的任務(wù)實際上是一段繼承自IJobHandler的Java類代碼，它在執(zhí)行器項目中運行，可使用@Resource/@Autowire注入執(zhí)行器里中的其他服務(wù)）

步驟三：觸發(fā)執(zhí)行：請點擊任務(wù)右側(cè) “執(zhí)行” 按鈕，可手動觸發(fā)一次任務(wù)執(zhí)行（通常情況下，通過配置Cron表達式進行任務(wù)調(diào)度出發(fā)）。

步驟四：查看日志：請點擊任務(wù)右側(cè) “日志” 按鈕，可前往任務(wù)日志界面查看任務(wù)日志。 在任務(wù)日志界面中，可查看該任務(wù)的歷史調(diào)度記錄以及每一次調(diào)度的任務(wù)調(diào)度信息、執(zhí)行參數(shù)和執(zhí)行信息。運行中的任務(wù)點擊右側(cè)的“執(zhí)行日志”按鈕，可進入日志控制臺查看實時執(zhí)行日志。

以上內(nèi)容節(jié)選項目手冊：http://www.xuxueli.com/xxl-job/

以上就是分布式任務(wù)調(diào)度xxl-job問題解決的詳細內(nèi)容，更多關(guān)于分布式任務(wù)調(diào)度xxl-job的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論