Go操作Kafka和Etcd方法詳解
更新時間：2022年09月02日 08:56:56 作者：喬克
這篇文章主要為大家介紹了Go操作Kafka和Etcd方法詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
操作Kafka
Kafka 是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)，具有高性能、持久化、多副本備份、橫向擴展等特點。本文介紹了如何使用 Go 語言發(fā)送和接收 kafka 消息。
sarama
Go 語言中連接 kafka 使用第三方庫:github.com/Shopify/sar…。
下載及安裝
go get github.com/Shopify/sarama
注意事項
sarama v1.20 之后的版本加入了zstd壓縮算法，需要用到 cgo，在 Windows 平臺編譯時會提示類似如下錯誤：
# github.com/DataDog/zstd exec: "gcc":executable file not found in %PATH%
所以在 Windows 平臺請使用 v1.19 版本的 sarama。
連接 kafka 發(fā)送消息
package main
import (
"fmt"
"github.com/Shopify/sarama"
)
// 基于sarama第三方庫開發(fā)的kafka client
func main() {
config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForAll // 發(fā)送完數(shù)據(jù)需要leader和follow都確認
config.Producer.Partitioner = sarama.NewRandomPartitioner // 新選出一個partition
config.Producer.Return.Successes = true // 成功交付的消息將在success channel返回
// 構造一個消息
msg := &sarama.ProducerMessage{}
msg.Topic = "web_log"
msg.Value = sarama.StringEncoder("this is a test log")
// 連接kafka
client, err := sarama.NewSyncProducer([]string{"192.168.1.7:9092"}, config)
if err != nil {
fmt.Println("producer closed, err:", err)
return
}
defer client.Close()
// 發(fā)送消息
pid, offset, err := client.SendMessage(msg)
if err != nil {
fmt.Println("send msg failed, err:", err)
return
}
fmt.Printf("pid:%v offset:%v\n", pid, offset)
}
連接 kafka 消費消息
package main
import (
"fmt"
"github.com/Shopify/sarama"
)
// kafka consumer
func main() {
consumer, err := sarama.NewConsumer([]string{"127.0.0.1:9092"}, nil)
if err != nil {
fmt.Printf("fail to start consumer, err:%v\n", err)
return
}
partitionList, err := consumer.Partitions("web_log") // 根據(jù)topic取到所有的分區(qū)
if err != nil {
fmt.Printf("fail to get list of partition:err%v\n", err)
return
}
fmt.Println(partitionList)
for partition := range partitionList { // 遍歷所有的分區(qū)
// 針對每個分區(qū)創(chuàng)建一個對應的分區(qū)消費者
pc, err := consumer.ConsumePartition("web_log", int32(partition), sarama.OffsetNewest)
if err != nil {
fmt.Printf("failed to start consumer for partition %d,err:%v\n", partition, err)
return
}
defer pc.AsyncClose()
// 異步從每個分區(qū)消費信息
go func(sarama.PartitionConsumer) {
for msg := range pc.Messages() {
fmt.Printf("Partition:%d Offset:%d Key:%v Value:%v", msg.Partition, msg.Offset, msg.Key, msg.Value)
}
}(pc)
}
}
操作Etcd
這里使用官方的etcd/clientv3包來連接etcd并進行相關操作。
安裝
go get go.etcd.io/etcd/clientv3
put和get操作
put命令用來設置鍵值對數(shù)據(jù)，get命令用來根據(jù)key獲取值。
package main
import (
"context"
"fmt"
"time"
"go.etcd.io/etcd/clientv3"
)
func main(){
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"122.51.79.172:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
// handle error!
fmt.Printf("connect to etcd failed, err:%v\n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// put
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
_, err = cli.Put(ctx, "coolops", "test")
cancel()
if err != nil {
fmt.Printf("put to etcd failed, err:%v\n", err)
return
}
// get
ctx, cancel = context.WithTimeout(context.Background(), time.Second)
resp, err := cli.Get(ctx, "coolops")
cancel()
if err != nil {
fmt.Printf("get from etcd failed, err:%v\n", err)
return
}
for _, ev := range resp.Kvs {
fmt.Printf("%s:%s\n", ev.Key, ev.Value)
}
}
watch操作
watch用來獲取未來更改的通知。
package main
import (
"context"
"fmt"
"time"
"go.etcd.io/etcd/clientv3"
)
func main(){
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"122.51.79.172:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
// handle error!
fmt.Printf("connect to etcd failed, err:%v\n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// watch 操作，返回的是一個通道
rch := cli.Watch(context.Background(), "coolops") // <-chan WatchResponse
for wresp := range rch {
for _, ev := range wresp.Events {
fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
}
}
}
安裝報錯：
go: finding github.com/coreos/pkg latest # github.com/coreos/etcd/clientv3/balancer/resolver/endpoint E:\DEV\Go\pkg\mod\github.com\coreos\etcd@v3.3.19+incompatible\clientv3\balancer\resolver\endpoint\endpoint.go:114:78: undefined: resolver.BuildOption E:\DEV\Go\pkg\mod\github.com\coreos\etcd@v3.3.19+incompatible\clientv3\balancer\resolver\endpoint\endpoint.go:182:31: undefined: resolver.ResolveNowOption # github.com/coreos/etcd/clientv3/balancer/picker E:\DEV\Go\pkg\mod\github.com\coreos\etcd@v3.3.19+incompatible\clientv3\balancer\picker\err.go:37:44: undefined: balancer.PickOptions E:\DEV\Go\pkg\mod\github.com\coreos\etcd@v3.3.19+incompatible\clientv3\balancer\picker\roundrobin_balanced.go:55:54: undefined: balancer.PickOptions
解決： 將go.mod里的prpc改為1.26.0版本
google.golang.org/grpc v1.26.0
以上就是Go操作Kafka和Etcd方法詳解的詳細內(nèi)容，更多關于Go操作Kafka Etcd的資料請關注腳本之家其它相關文章！
相關文章
Go?中?time.After?可能導致的內(nèi)存泄露問題解析
這篇文章主要介紹了Go?中?time.After?可能導致的內(nèi)存泄露,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-05-05
Go實現(xiàn)map轉(zhuǎn)json的示例詳解
這篇文章主要為大家詳細介紹了如何利用Go語言實現(xiàn)map轉(zhuǎn)json的功能,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下2023-09-09
這篇文章主要為大家介紹了Go語言基礎閉包的底層原理及實例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步早日升職加薪2021-11-11
這篇文章主要介紹了一篇文章搞懂Go語言中的Context，Context攜帶一個截止日期、一個取消信號和其他跨越API邊界的值。上下文的方法可以被多個gor例程同時調(diào)用2022-07-07
這篇文章主要介紹了Go語言實現(xiàn)機器大小端判斷代碼分享,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下2014-10-10
這篇文章主要為大家介紹了Go?env如何配置go環(huán)境變量的命令詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-05-05
go內(nèi)存緩存BigCache封裝Entry源碼解讀
這篇文章主要為大家介紹了go內(nèi)存緩存BigCache封裝Entry源碼解讀,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
這篇文章主要為大家介紹了Go語言開發(fā)保證并發(fā)安全實例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-09-09
冒泡排序是交換排序中最簡單的一種算法。這篇文章將利用Go語言實現(xiàn)冒泡排序算法，文中的示例代碼講解詳細，對學習Go語言有一定的幫助，需要的可以參考一下2022-12-12
死鎖就是在并發(fā)程序中，兩個或多個線程彼此等待對方完成操作，從而導致它們都被阻塞，并無限期地等待對方完成；活鎖就是程序一直在運行，但是無法取得進展。本文將從一些案例出發(fā)，分析一下它們，希望對大家有所幫助2023-04-04