詳解使用docker搭建kafka環(huán)境
Requirements
最近學(xué)習(xí)了下kafka，為方便搭建環(huán)境，使用docker進(jìn)行部署。
需要首先安裝docker的環(huán)境。要求操作系統(tǒng)是linux的64位系統(tǒng)。
docker的安裝(適于rpm/deb安裝):
curl -fsSL https://get.docker.com/ | sh
docker-compose的安裝:
curl -L https://github.com/docker/compose/releases/download/1.7.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose
Kafka Image
Dockerfile
Dockerfile是用于描述鏡像的制作過(guò)程。根據(jù)kafka的教程，編寫(xiě)對(duì)應(yīng)的Dockerfile。
基礎(chǔ)鏡像使用了centos6的版本，當(dāng)然根據(jù)需要也可以使用其他的版本。
FROM index.alauda.cn/tutum/centos:centos6 RUN yum install -y wget RUN wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.rpm RUN rpm -ivh jdk-8u91-linux-x64.rpm RUN mkdir -p /kafka && cd /kafka && wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz && tar -xzf kafka_2.11-0.9.0.0.tgz && cd kafka_2.11-0.9.0.0 WORKDIR /kafka/kafka_2.11-0.9.0.0
有了這樣的一個(gè)Dockerfile，可以在本地，也可以使用公有云進(jìn)行鏡像制作。在本地制作的話，可以使用該命令:
docker build -t index.alauda.cn/xuxinkun/kafka .
我使用了靈雀云的鏡像服務(wù)進(jìn)行build。
Docker-Compose
有了鏡像之后，現(xiàn)在需要對(duì)服務(wù)進(jìn)行啟動(dòng)。這里使用了docker的編排服務(wù)docker-compose，進(jìn)行編排。
kafka主要包括兩個(gè)服務(wù)，zookeeper和kafka。所以需要分別啟動(dòng)兩個(gè)服務(wù)。這里將兩個(gè)服務(wù)直接使用宿主機(jī)的網(wǎng)絡(luò)。編寫(xiě)docker-compose.yaml如下:
zk: image: index.alauda.cn/xuxinkun/kafka net: host stdin_open: true tty: true command: bin/zookeeper-server-start.sh config/zookeeper.properties kafka: image: index.alauda.cn/xuxinkun/kafka net: host stdin_open: true tty: true command: bin/kafka-server-start.sh config/server.properties
啟動(dòng)服務(wù)
現(xiàn)在可以一條命令啟動(dòng)所有的服務(wù):
[root@node1 Dockerfile]# docker-compose up -d Creating dockerfile_kafka_1 Creating dockerfile_zk_1
查看服務(wù)狀態(tài)
對(duì)服務(wù)狀態(tài)進(jìn)行查看。
[root@node1 Dockerfile]# docker-compose ps
Name Command State Ports
----------------------------------------------------------------------
dockerfile_kafka_1 bin/kafka-server-start.sh ... Up
dockerfile_zk_1 bin/zookeeper-server-start ... Up
當(dāng)然也可以使用docker ps -a進(jìn)行查看。
停止服務(wù)
[root@node1 Dockerfile]# docker-compose stop zk kafka Stopping dockerfile_kafka_1 ... done Stopping dockerfile_zk_1 ... done
刪除服務(wù)
[root@node1 Dockerfile]# docker-compose rm zk kafka
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- kafka調(diào)試中遇到Connection to node -1 could not be established. Broker may not be available.
- Docker + Nodejs + Kafka + Redis + MySQL搭建簡(jiǎn)單秒殺環(huán)境
- Kafka 常用命令行詳細(xì)介紹及整理
- docker部署kafka的方法步驟
- Kafka利用Java實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)和消費(fèi)實(shí)例教程
- kafka監(jiān)控獲取指定topic的消息總量示例
- Java使用kafka發(fā)送和生產(chǎn)消息的示例
- node連接kafka2.0實(shí)現(xiàn)方法示例
相關(guān)文章
使用Docker遷移服務(wù)到離線服務(wù)器的過(guò)程
最近遇到的這個(gè)場(chǎng)景，需要把之前開(kāi)發(fā)的一套系統(tǒng)遷移到一個(gè)離線的服務(wù)器上，這個(gè)服務(wù)器有點(diǎn)麻煩，接入VPN后通過(guò)堡壘機(jī)才能訪問(wèn)，速度也很慢，遇到不少坑，本文記錄一下遷移過(guò)程,需要的朋友可以參考下2023-06-06
Docker Machine是什么?這篇文章主要介紹了Docker官方提供的一個(gè)工具Docker Machine，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-06-06
如何解決docker commit后鏡像越來(lái)越大問(wèn)題
解決Docker Commit后鏡像變大問(wèn)題的方法：方法1直接打包容器并導(dǎo)入為鏡像；方法2將容器根目錄文件壓縮后導(dǎo)入為鏡像,方法1更優(yōu),在其他設(shè)備運(yùn)行時(shí)可能出現(xiàn)內(nèi)存不足錯(cuò)誤2025-03-03
這篇文章主要介紹了Docker教程之使用dockerfile生成鏡像的相關(guān)資料,需要的朋友可以參考下2022-11-11
CentOS7.6系統(tǒng)下Docker安裝部署教程
這篇文章主要為大家介紹了CentOS7.6系統(tǒng)下Docker的安裝部署教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-04-04
這篇文章主要介紹了Docker Machine深入詳解，文章總結(jié)的很詳細(xì)，有感興趣的同學(xué)可以研究下2021-03-03
這篇文章主要介紹了CentOS8下的Docker使用,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
Docker容器開(kāi)jupyter不能訪問(wèn)到的解決方法
這篇文章主要介紹了Docker容器開(kāi)jupyter不能訪問(wèn)到的解決，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
手把手教你實(shí)現(xiàn)Docker 部署 vue 項(xiàng)目
這篇文章主要介紹了手把手教你實(shí)現(xiàn)Docker 部署 vue 項(xiàng)目，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Docker容器的目錄結(jié)構(gòu)通常是在構(gòu)建鏡像時(shí)定義的,它基于所使用的基礎(chǔ)鏡像,下面這篇文章主要給大家介紹了關(guān)于docker各目錄含義詳細(xì)解析的相關(guān)資料,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05