快捷導航

Mac上使用Docker搭建kafka集群方式

更新時間：2024年02月26日 10:58:18 作者：寒山道杳

這篇文章主要介紹了Mac上使用Docker搭建kafka集群方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

1、拉取鏡像

// 拉取 kafka 鏡像
docker pull wurstmeister/kafka
// 拉取 zookeeper 鏡像
docker pull zookeeper

2、運行zookeeper

docker run -d --name zookeeper -p 2181:2181 -t zookeeper

3、運行kafka

注意：192.168.124.11 為宿主機IP

Kafka0：

docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.124.11:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.124.11:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

Kafka1：

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.124.11:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.124.11:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

Kafka2：

docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.124.11:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.124.11:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

參數(shù)說明：

-e KAFKA_BROKER_ID=0 在kafka集群中，每個kafka都有一個BROKER_ID來區(qū)分自己
-e KAFKA_ZOOKEEPER_CONNECT=192.168.124.11:2181/kafka 配置zookeeper管理kafka的路徑192.168.124.11:2181/kafka
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.124.11:9092 把kafka的地址端口注冊給zookeeper，如果是遠程訪問要改成外網(wǎng)IP。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的監(jiān)聽端口：這個不能改-v /etc/localtime:/etc/localtime 容器時間同步虛擬機的時間

4、設(shè)置topic

進入kafka0：

docker exec -it kafka0 /bin/bash

進入bin目錄：

cd /opt/kafka_2.13-2.8.1/bin

創(chuàng)建topic：

kafka-topics.sh --create --zookeeper 192.168.124.11:2181 --replication-factor 3 --partitions 5 --topic TestTopic

查看topic：

// 查看指定 topic
kafka-topics.sh --zookeeper 192.168.124.11:2181 --topic TestTopic --describe 
// 查看 topic 集合
kafka-topics.sh --zookeeper 192.168.124.11:2181 --list

Kafka的topic所有分區(qū)會分散在不同Broker上，所以該topic的5個分區(qū)會被分散到3個Broker上，其中有兩個Broker得到兩個分區(qū)，另一個Broker只有1個分區(qū)，如圖所示：

集群節(jié)點說明：

Topic: TestTopic PartitionCount: 5 ReplicationFactor:3 代表TestTopic有5個分區(qū)，3個副本節(jié)點；
Topic: 代表主題名稱
Leader代表主題節(jié)點號，
Replicas代表他的副本節(jié)點有Broker.id = 2、0、1（包括Leader Replica和Follower Replica，且不管是否存活），
Isr表示存活并且同步Leader節(jié)點的副本有Broker.id = 2、0、1

5、進行生產(chǎn)者和消費者測試

分別在Broker0上運行一個生產(chǎn)者，Broker1、2上分別運行一個消費者：

kafka-console-producer.sh --broker-list 192.168.124.11:9092 --topic TestTopic
 
kafka-console-consumer.sh --bootstrap-server 192.168.124.11:9093 --topic TestTopic --from-beginning
 
kafka-console-consumer.sh --bootstrap-server 192.168.124.11:9094 --topic TestTopic --from-beginning