巨鯨任務(wù)調(diào)度平臺(tái)為美柚大數(shù)據(jù)研發(fā)的分布式計(jì)算任務(wù)調(diào)度系統(tǒng)，提供Spark、Flink等批處理任務(wù)的DAG執(zhí)行調(diào)度和流處理任務(wù)的狀態(tài)監(jiān)測(cè)調(diào)度，并具有重復(fù)應(yīng)用檢測(cè)、大內(nèi)存應(yīng)用檢測(cè)等功能。 服務(wù)基于Spring Boot 2.0開發(fā)，打包后即可運(yùn)行。

環(huán)境準(zhǔn)備：

Java 1.8+

Mysql 5.1.0+

安裝：

1、創(chuàng)建數(shù)據(jù)庫：big-whale

2、運(yùn)行數(shù)據(jù)庫腳本：big-whale.sql

3、根據(jù)Spring Boot環(huán)境，配置相關(guān)數(shù)據(jù)庫賬號(hào)密碼，以及SMTP信息

4、配置：big-whale.properties

配置項(xiàng)說明

ssh.user: 擁有腳本執(zhí)行權(quán)限的ssh遠(yuǎn)程登錄用戶名（平臺(tái)會(huì)將該用戶作為統(tǒng)一的腳本執(zhí)行用戶）

ssh.password: ssh遠(yuǎn)程登錄用戶密碼

dingding.enabled: 是否開啟釘釘告警

dingding.watcher-token: 釘釘公共群機(jī)器人Token

yarn.app-memory-threshold: Yarn應(yīng)用內(nèi)存上限（單位：MB），-1禁用檢測(cè)

yarn.app-white-list: Yarn應(yīng)用白名單列表（列表中的應(yīng)用申請(qǐng)的內(nèi)存超過上限，不會(huì)進(jìn)行告警）

5、修改：$FLINK_HOME/bin/flink，參考：flink（因flink提交任務(wù)時(shí)只能讀取本地jar包，故需要在執(zhí)行提交命令時(shí)從hdfs上下載jar包并替換腳本中的jar包路徑參數(shù)）

6、打包：mvn clean package

啟動(dòng)：

1、檢查端口17070是否被占用，被占用的話，關(guān)閉占用的進(jìn)程或修改項(xiàng)目端口號(hào)配置重新打包

2、拷貝target目錄下的big-whale.jar，執(zhí)行命令：java -jar big-whale.jar

初始配置

1、打開：http://localhost:17070

2、輸入賬號(hào)admin，密碼admin

3、點(diǎn)擊：權(quán)限管理->用戶管理，修改當(dāng)前賬號(hào)的郵箱為合法且存在的郵箱地址，否則會(huì)導(dǎo)致郵件發(fā)送失敗

4、添加集群

集群管理->集群管理->新增

“yarn管理地址”為Yarn ResourceManager的WEB UI地址

“程序包存儲(chǔ)目錄”為程序包上傳至hdfs集群時(shí)的存儲(chǔ)路徑，如：/data/big-whale/storage

“支持Flink任務(wù)代理用戶”“流處理任務(wù)黑名單”和“批處理任務(wù)黑名單”為內(nèi)部定制的任務(wù)分配規(guī)則，勿填

5、添加代理

集群管理->代理管理->新增

可添加多個(gè)實(shí)例（僅支持IP地址，可指定端口號(hào)，默認(rèn)為22），執(zhí)行腳本的時(shí)候會(huì)隨機(jī)選擇一個(gè)實(shí)例執(zhí)行，在實(shí)例不可達(dá)的情況下，會(huì)繼續(xù)隨機(jī)選擇下一個(gè)實(shí)例，在實(shí)例均不可達(dá)時(shí)執(zhí)行失敗

選擇集群后，會(huì)作為該集群下提交Spark或Flink任務(wù)的代理之一

6、添加集群用戶

集群管理->集群用戶->新增

該配置的語義為：平臺(tái)用戶在所選集群下可以使用的Yarn資源隊(duì)列（--queue）和代理用戶（--proxy-user）

7、添加計(jì)算框架版本

集群管理->版本管理->新增

同一集群下不同版本的Spark或Flink任務(wù)的提交命令可能有所不同，如Spark 1.6.0版本的提交命令為spark-submit，Spark 2.1.0版本的提交命令為spark2-submit

v1.3

更新內(nèi)容

權(quán)限驗(yàn)證漏洞FIX