spring boot整合kafka過(guò)程解析
這篇文章主要介紹了spring boot整合kafka過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
一、啟動(dòng)kafka
啟動(dòng)kafka之前一定要啟動(dòng)zookeeper,因?yàn)橐褂胟afka必須要使用zookeeper。
windows環(huán)境下啟動(dòng),直接使用kafka自帶的zookeeper:
E:\kafka_2.12-2.4.0\bin\windows zookeeper-server-start.bat ..\..\config\zookeeper.properties
接下來(lái)啟動(dòng)kafka
E:\kafka_2.12-2.4.0\bin\windows kafka-server-start.bat ..\..\config\server.properties
二、spring boot整合kafka項(xiàng)目實(shí)例
1.導(dǎo)入的maven
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
配置文件:
server.port=80 #kafka地址,可以有多個(gè) spring.kafka.bootstrap-servers=127.0.0.1:9092 #------生產(chǎn)者配置文件--------- #指定kafka消息體和key的編碼格式 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer #設(shè)置等待acks返回的機(jī)制,有三個(gè)值 # 0:不等待返回的acks(可能會(huì)丟數(shù)據(jù),因?yàn)榘l(fā)送消息沒(méi)有了失敗重試機(jī)制,但是這是最低延遲) # 1:消息發(fā)送給kafka分區(qū)中的leader后就返回(如果follower沒(méi)有同步完成leader就宕機(jī)了,就會(huì)丟數(shù)據(jù)) # -1(默認(rèn)):等待所有follower同步完消息后再發(fā)送(絕對(duì)不會(huì)丟數(shù)據(jù)) spring.kafka.producer.acks=-1 # 消息累計(jì)到batch-size的值后,才會(huì)發(fā)送消息,默認(rèn)為16384 spring.kafka.producer.batch-size=16384 #如果kafka遲遲不發(fā)送消息(這里指的是消息沒(méi)堆積到指定數(shù)量),那么過(guò)了這個(gè)時(shí)間(單位:毫米)開(kāi)始發(fā)送 spring.kafka.producer.properties.linger.ms=1 #設(shè)置緩沖區(qū)大小,默認(rèn)是33554432 #這個(gè)緩沖區(qū)是kafka中兩個(gè)線程里的共享變量 #這個(gè)兩個(gè)線程是main和sender,main負(fù)責(zé)把消息發(fā)送到共享變量,sender從共享變量拉數(shù)據(jù) spring.kafka.producer.buffer-memory=33554432 #失敗重試發(fā)送的次數(shù) spring.kafka.producer.retries=2 #------消費(fèi)者配置文件--------- #指定kafka消息體和key的編碼格式 spring.kafka.consumer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.consumer.value-serializer=org.apache.kafka.common.serialization.StringSerializer #指定消費(fèi)者組的group_id spring.kafka.consumer.group-id=kafka_test #kafka意外宕機(jī)時(shí),再次開(kāi)啟消息消費(fèi)的策略,共有三種策略 #earliest:當(dāng)各分區(qū)下有已提交的offset時(shí),從提交的offset開(kāi)始消費(fèi);無(wú)提交的offset時(shí),從頭開(kāi)始消費(fèi) #latest:當(dāng)各分區(qū)下有已提交的offset時(shí),從提交的offset開(kāi)始消費(fèi);無(wú)提交的offset時(shí),消費(fèi)新產(chǎn)生的該分區(qū)下的數(shù)據(jù)、 #none:當(dāng)所有分區(qū)都存在已提交的offset時(shí),從offset后開(kāi)始消費(fèi);只要有一個(gè)分區(qū)不存在已提交的offset,則拋出異常 spring.kafka.consumer.auto-offset-reset=earliest #自動(dòng)提交offset spring.kafka.consumer.enable-auto-commit=true #提交offset時(shí)間間隔 spring.kafka.consumer.auto-commit-interval=100 #消費(fèi)監(jiān)聽(tīng)接口監(jiān)聽(tīng)的主題不存在時(shí),默認(rèn)會(huì)報(bào)錯(cuò)因此要關(guān)掉這個(gè) spring.kafka.listener.missing-topics-fatal=false
2.創(chuàng)建topic
import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* 使用代碼創(chuàng)建的topic
* 三個(gè)參數(shù)意思:topic的名稱;分區(qū)數(shù)量,新主題的復(fù)制因子;如果指定了副本分配,則為-1。
*/
@Configuration
public class KafkaTopic {
@Bean
public NewTopic batchTopic() {
return new NewTopic("testTopic", 8, (short) 1);
}
}
3.生產(chǎn)者代碼
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
/**
* kafka生產(chǎn)者代碼
*/
@RestController
public class ProductorController {
@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
@RequestMapping("/test")
public String show() {
kafkaTemplate.send("testTopic", "你好");
return "發(fā)送成功";
}
}
4.消費(fèi)者代碼
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.KafkaListener;
import java.util.Optional;
/**
* kafka消費(fèi)者代碼
*/
@Configuration
public class KafkaConsumer {
@KafkaListener(topics = "testTopic")
public void consumer(ConsumerRecord consumerRecord){
Optional<Object> kafkaMassage = Optional.ofNullable(consumerRecord.value());
if(kafkaMassage.isPresent()){
Object o = kafkaMassage.get();
System.out.println("接收到的消息是:"+o);
}
}
}
測(cè)試結(jié)果:

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Java C++題解leetcode 1684統(tǒng)計(jì)一致字符串的數(shù)目示例
這篇文章主要為大家介紹了Java C++題解leetcode 1684統(tǒng)計(jì)一致字符串的數(shù)目示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-01-01
Java使用動(dòng)態(tài)規(guī)劃算法思想解決背包問(wèn)題
背包問(wèn)題(Knapsack problem)是一種組合優(yōu)化的NP完全問(wèn)題。問(wèn)題可以描述為:給定一組物品,每種物品都有自己的重量和價(jià)格,在限定的總重量?jī)?nèi),我們?nèi)绾芜x擇,才能使得物品的總價(jià)格最高2022-04-04
SpringMvc切換Json轉(zhuǎn)換工具的操作代碼
SpringBoot切換使用goolge的Gson作為SpringMvc的Json轉(zhuǎn)換工具,本文給大家講解SpringMvc切換Json轉(zhuǎn)換工具的操作代碼,感興趣的朋友一起看看吧2024-02-02
maven中profile動(dòng)態(tài)打包不同環(huán)境配置文件的實(shí)現(xiàn)
開(kāi)發(fā)項(xiàng)目時(shí)會(huì)遇到這個(gè)問(wèn)題:開(kāi)發(fā)環(huán)境,測(cè)試環(huán)境,生產(chǎn)環(huán)境的配置文件不同, 打包時(shí)經(jīng)常要手動(dòng)更改配置文件,本文就來(lái)介紹一下maven中profile動(dòng)態(tài)打包不同環(huán)境配置文件的實(shí)現(xiàn),感興趣的可以了解一下2023-10-10
Maven在Windows中的配置以及IDE中的項(xiàng)目創(chuàng)建實(shí)例
下面小編就為大家?guī)?lái)一篇Maven在Windows中的配置以及IDE中的項(xiàng)目創(chuàng)建實(shí)例。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-09-09
IDEA類與方法注釋模板設(shè)置圖文教程(非常詳細(xì))
IDEA自帶的注釋模板不是太好用,我本人到網(wǎng)上搜集了很多資料系統(tǒng)的整理了一下制作了一份比較完整的模板來(lái)分享給大家,下面這篇文章主要給大家介紹了關(guān)于IDEA類與方法注釋模板設(shè)置的相關(guān)資料,需要的朋友可以參考下2022-09-09

