快捷導(dǎo)航

kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例

更新時(shí)間：2018年12月27日 10:12:47 作者：rongyongfeikai2

今天小編就為大家分享一篇kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

如下所示：

from kafka import KafkaClient
from kafka.producer import SimpleProducer

def send_data_2_kafka(datas):
  '''
    向kafka解析隊(duì)列發(fā)送數(shù)據(jù)
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM為topic的partition的數(shù)目，這樣保證批量發(fā)送的數(shù)據(jù)均勻的落在kafka的partition中。

以上這篇kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

如何用python識(shí)別滑塊驗(yàn)證碼中的缺口
這篇文章主要介紹了如何用python識(shí)別滑塊中的缺口，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
2021-04-04
python?泛型函數(shù)--singledispatch的使用解讀
這篇文章主要介紹了python?泛型函數(shù)--singledispatch的使用解讀，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-09-09
python實(shí)現(xiàn)提取jira bug列表的方法示例
公司要求內(nèi)部每日整理jira bug發(fā)郵件，手動(dòng)執(zhí)行了一段時(shí)間，想著用自動(dòng)化的方式實(shí)現(xiàn)，所以本文主要介紹了python實(shí)現(xiàn)提取jira bug列表，感興趣的可以了解一下
2021-05-05
用python寫asp詳細(xì)講解
本文介紹使用python寫asp程序代碼，大家參考使用吧
2013-12-12
python Selenium等待元素出現(xiàn)的具體方法
在本篇文章里小編給大家分享的是一篇關(guān)于python Selenium等待元素出現(xiàn)的具體方法，以后需要的朋友們可以學(xué)習(xí)參考下。
2021-08-08
Python實(shí)現(xiàn)的百度站長自動(dòng)URL提交小工具
這篇文章主要介紹了Python實(shí)現(xiàn)的百度站長自動(dòng)URL提交小工具,主要難點(diǎn)在驗(yàn)證碼識(shí)別部分,研究驗(yàn)證碼識(shí)別的朋友可以參考下
2014-06-06
python使用dlib進(jìn)行人臉檢測和關(guān)鍵點(diǎn)的示例
這篇文章主要介紹了python使用dlib進(jìn)行人臉檢測和關(guān)鍵點(diǎn)的示例，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-12-12
python中selenium庫的基本使用詳解
這篇文章主要介紹了python中selenium庫的基本使用詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-07-07
淺談Django2.0 加xadmin踩的坑
今天小編就為大家分享一篇淺談Django2.0 加xadmin踩的坑，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2019-11-11
python實(shí)現(xiàn)隨機(jī)梯度下降法
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)隨機(jī)梯度下降法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-08-08