Docker中部署flink集群的兩種方式
一、概述
本文將通過 2 種方式在 docker 中部署 flink standalone 集群，集群中共有 4 個(gè)節(jié)點(diǎn)，分別是 1 個(gè) jobManager 節(jié)點(diǎn)和 3 個(gè) taskManager 節(jié)點(diǎn)。方式一能快速部署一個(gè) flink 集群，但是使用的是默認(rèn)配置，不夠靈活，方式二使用的是外置配置文件，可以靈活控制集群配置。
二、準(zhǔn)備工作
準(zhǔn)備工作是方式一和方式二都需要執(zhí)行的工作，準(zhǔn)備工作很簡單，就是用以下命令創(chuàng)建一個(gè) flink 網(wǎng)絡(luò)
docker network create flink-network
三、方式一
依次執(zhí)行以下命令創(chuàng)建 flink 集群
docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
四、方式二
1、準(zhǔn)備配置文件
1.1、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 #taskmanager.bind-host: localhost #taskmanager.host: localhost rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.2、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager1 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.3、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager2 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.4、復(fù)制默認(rèn)的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager3 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
2、執(zhí)行 docker 命令
依次執(zhí)行以下命令創(chuàng)建 flink 集群
docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
到此這篇關(guān)于Docker中部署flink集群的兩種方式的文章就介紹到這了,更多相關(guān)Docker部署flink集群內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
kali安裝docker及搭建漏洞環(huán)境的詳細(xì)教程
Docker?是一個(gè)開源的應(yīng)用容器引擎，讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個(gè)可移植的容器中，然后發(fā)布到任何流行的Linux機(jī)器上，也可以實(shí)現(xiàn)虛擬化，本文重點(diǎn)給大家介紹kali安裝docker及搭建漏洞環(huán)境的過程，感興趣的朋友一起看看吧2022-05-05
如何使用docker compose 部署ELK 8.X及監(jiān)控
這篇文章主要介紹了如何使用docker compose 部署ELK 8.X及監(jiān)控,包括前置環(huán)境配置及docker compose啟動/停止的命令,感興趣的朋友跟隨小編一起看看吧2023-10-10
樹莓派3B+安裝64位ubuntu系統(tǒng)和docker工具的操作步驟詳解
這篇文章主要介紹了樹莓派3B+安裝64位ubuntu系統(tǒng)和docker工具,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-09-09
redis集群對于很多人來說非常熟悉，雖然集群搭建的文章在網(wǎng)上很多，但是今天給大家介紹的是在docker上實(shí)現(xiàn)Redis集群搭建，感興趣的可以了解下2021-05-05
使用Docker部署openGauss國產(chǎn)數(shù)據(jù)庫的操作方法
openGauss是一款支持SQL2003標(biāo)準(zhǔn)語法，支持主備部署的高可用關(guān)系型數(shù)據(jù)庫，這篇文章主要介紹了使用Docker部署openGauss國產(chǎn)數(shù)據(jù)庫,需要的朋友可以參考下2022-10-10
這篇文章主要介紹了Docker容器網(wǎng)絡(luò)端口配置過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-10-10
Docker Compose容器編排深度解析與實(shí)戰(zhàn)小結(jié)
Docker Compose 是 Docker 官方推出的開源項(xiàng)目,用于定義和運(yùn)行多個(gè) Docker 容器的應(yīng)用工具,簡化了多容器應(yīng)用的部署和管理,本文介紹Docker Compose：容器編排深度解析與實(shí)戰(zhàn)指南,感興趣的朋友一起看看吧2025-12-12
這篇文章主要介紹了docker容器如何配置hosts文件問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
這篇文章主要介紹了docker容器中安裝mysql服務(wù)的方法，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-07-07
Zeppelin是基于Jupyter Notebook技術(shù)開發(fā)的大數(shù)據(jù)交互分析服務(wù)軟件。接下來通過本文給大家介紹docker?安裝?zeppeline的相關(guān)知識，感興趣的朋友一起看看吧2022-01-01