Linux下Kafka分布式集群安裝教程
Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 編寫的一個(gè)分布式消息系統(tǒng)，用作 LinkedIn 的活動(dòng)流（Activity Stream）和運(yùn)營(yíng)數(shù)據(jù)處理管道（Pipeline）的基礎(chǔ)，具有高水平擴(kuò)展和高吞吐量。Spack、Elasticsearch 都支持與 Kafka 集成。下面看一下幾種分布式開源消息隊(duì)列系統(tǒng)的對(duì)比：
Kafka 集群架構(gòu)：
一般不建議直接使用 Kafka 自帶的 Zookeeper 建立 zk 集群，這里我們使用獨(dú)立的 zk 集群，zk 集群搭建參考文章 Linux下ZooKeeper分布式集群安裝。
這里 Linux 選擇 CentOS 7.2。
# cd /usr/local # mkdir kafka # cd kafka # wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz # tar -zxvf kafka_2.11-1.0.0.tgz # mkdir kafka-logs # cd kafka_2.11-1.0.0/config # vim server.properties
編輯配置文件 (配置項(xiàng)可以參考 http://kafka.apache.org/documentation.html#brokerconfigs) 為：
# 唯一標(biāo)識(shí),0開始 broker.id=0 # 服務(wù)器端口和ip port=9092 host.name=192.168.2.20 # 日志數(shù)據(jù)保存的目錄 log.dirs=/usr/local/kafka/kafka-logs log.retention.hours=168 # 每條消息能夠容納的最大大小,默認(rèn)1000012 message.max.bytes=5242880 # 默認(rèn)的副本因子,即保存消息的副本數(shù),默認(rèn)1 default.replication.factor=2 # 取消息的最大直接數(shù),默認(rèn)1048576 replica.fetch.max.bytes=5242880 # 配置zk地址 zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
啟動(dòng) Kafka 之前需啟動(dòng) Zookeeper，然后啟動(dòng) Kafka，各個(gè)節(jié)點(diǎn)需單獨(dú)啟動(dòng)：
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin # ./kafka-server-start.sh -daemon ../config/server.properties //后臺(tái)啟動(dòng)服務(wù) # jps //查看服務(wù)是否啟動(dòng)成功 # ./kafka-server-stop.sh //關(guān)閉服務(wù)
最后我們?cè)谌_(tái)不同的服務(wù)器上各部署一個(gè) Kafka 進(jìn)程，以構(gòu)成一個(gè) Kafka 集群。開始使用可以參考官方文檔 http://kafka.apache.org/documentation.html#quickstart。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
linux-centos7擴(kuò)展swap分區(qū)方式
這篇文章主要介紹了linux-centos7擴(kuò)展swap分區(qū)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-08-08
5.3.0 的正式版已經(jīng)發(fā)布有段時(shí)間了，看到腳本之家上面有個(gè)windows下的安裝php5.3的教程，所以想起寫一個(gè)關(guān)于linux的PHP5.3的安裝教程。2009-09-09
這篇文章主要介紹了Linux中的awk數(shù)組的基本使用方法,非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-08-08
Ubuntu系統(tǒng)網(wǎng)絡(luò)故障排查的方法
最近在使用Ubuntu系統(tǒng)的時(shí)候碰到一個(gè)問題，連接無線網(wǎng)絡(luò)的時(shí)候，發(fā)現(xiàn)右上角網(wǎng)絡(luò)設(shè)置中沒有 Enable Wi-Fi 這個(gè)選項(xiàng)了，所以通過一步步排查，終于找了解決辦法，現(xiàn)在分享給大家，有需要的朋友們可以參考借鑒。2016-10-10
Linux 僵尸進(jìn)程產(chǎn)生原因及解決方法
這篇文章主要介紹了Linux 僵尸進(jìn)程產(chǎn)生原因及解決方法,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-02-02
在本篇文章里小編給各位分享了關(guān)于Linux CPU負(fù)載和CPU使用率的相關(guān)知識(shí)點(diǎn)內(nèi)容，有需要的朋友們參考下。2019-07-07
這篇文章主要介紹了Linux查看服務(wù)器硬件信息的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
Canonical通過Flutter啟用Linux桌面應(yīng)用程序(推薦)
這篇文章主要介紹了Canonical通過Flutter啟用Linux桌面應(yīng)用程序,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-07-07
詳解CentOS安裝tomcat并且部署Java Web項(xiàng)目
本篇文章主要介紹了CentOS安裝tomcat并且部署Java Web項(xiàng)目，具有一定的參考價(jià)值，有需要的可以了解一下。2016-11-11
SELinux(Security-Enhanced Linux)的簡(jiǎn)單配置，涉及SELinux的工作模式、配置文件修改、查看和修改上下文信息，以及恢復(fù)文件或目錄的上下文信息。這篇文章主要介紹了Linux中selinux基礎(chǔ)配置,需要的朋友可以參考下2018-11-11