最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python每5分鐘從kafka中提取數據的例子

 更新時間:2019年12月23日 09:04:24   作者:sxf_0123  
今天小編就為大家分享一篇python每5分鐘從kafka中提取數據的例子,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

我就廢話不多說了,直接上代碼吧!

import sys
sys.path.append("..")
from datetime import datetime
from utils.kafka2file import KafkaDownloader
import os
"""
實現取kafka數據,文件按照取數據的間隔命名
如每5分鐘從kafka取數據寫入文件中,文件名為當前時間加5
"""

TOPIC = "rtz_queue"
HOSTS = "ip:9092,ip:9092"
GROUP = "2001"

def get_end_time(hour,minute,time_step):
 if (minute+time_step)%60<60:
  if (minute+time_step)%60<10:
   return str(hour+int((minute+time_step)/60))+":"+"0"+str((minute+time_step)%60)
  else:
   return str(hour+int((minute+time_step)/60))+":"+str((minute+time_step)%60)
 else:
  pass

def kafkawritefile(time_step,time_num):
 start = datetime.now()
 downloader = KafkaDownloader(HOSTS, TOPIC, GROUP)
 i = 1
 while(i<=time_num):
  end_time = get_end_time(start.hour, start.minute,i*time_step)
  end_time_file = end_time.replace(':', '_')
  outfile_path = "/data/tmp/" + end_time_file + ".csv"

  if os.path.exists(outfile_path):
   os.remove(outfile_path)
  writefile = open(outfile_path, 'a+', encoding='utf-8')
  
  for msg in downloader.message():
   curr_time = datetime.now()
   curr_time = str(curr_time)
   split_curr_time = curr_time.split(' ')
   curr_time_str = split_curr_time[1][0:5]
  
   if curr_time_str >= str(end_time):  
    break
  i += 1

if __name__=='__main__':
 time_step = 15
 time_num = 1
 kafkawritefile(time_step,time_num)

以上這篇python每5分鐘從kafka中提取數據的例子就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • 檢查Python中的變量是否是字符串(兩種不同方法)

    檢查Python中的變量是否是字符串(兩種不同方法)

    數據類型是編程語言最重要的特征,它區(qū)分了我們可以存儲的不同類型的數據,如字符串、int和float,這篇文章主要介紹了兩種不同的方法來檢查Python中的變量是否是字符串,需要的朋友可以參考下
    2023-08-08
  • django 2.0更新的10條注意事項總結

    django 2.0更新的10條注意事項總結

    Django 是 Python Web 開發(fā)最常用的框架之一,跟進它的最新變化絕對是必須的。下面這篇文章主要給大家介紹了關于django 2.0更新的10條注意事項,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考借鑒,下面來一起看看吧。
    2018-01-01
  • anaconda創(chuàng)建、查看、激活與刪除虛擬環(huán)境指令總結

    anaconda創(chuàng)建、查看、激活與刪除虛擬環(huán)境指令總結

    在跑項目時常常會安裝很多的包,也通常會遇到需要安裝指定版本的包,以及包與包不兼容的問題,下面這篇文章主要給大家介紹了關于anaconda創(chuàng)建、查看、激活與刪除虛擬環(huán)境指令的相關資料,需要的朋友可以參考下
    2022-11-11
  • Pycharm無法使用已經安裝Selenium的解決方法

    Pycharm無法使用已經安裝Selenium的解決方法

    今天小編就為大家分享一篇Pycharm無法使用已經安裝Selenium的解決方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-10-10
  • 一文教你如何在Python中忽略煩人的警告

    一文教你如何在Python中忽略煩人的警告

    當你用 Python 寫代碼時,有時候會看到一些“警告”信息,這些信息不會讓代碼出錯,但會讓輸出看起來很亂,所以本文為大家整理了一些忽略警告的方法,希望對大家有所幫助
    2024-12-12
  • 用python畫了個圣誕樹給女朋友

    用python畫了個圣誕樹給女朋友

    大家好,本篇文章主要講的是用python畫了個圣誕樹給女朋友,感興趣的同學趕快來看一看吧,對你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • Python中selenium獲取token的方法

    Python中selenium獲取token的方法

    本文主要介紹了Python中selenium獲取token的方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-02-02
  • python實現去掉字符串中的\xa0、\t、\n

    python實現去掉字符串中的\xa0、\t、\n

    這篇文章主要介紹了python實現去掉字符串中的\xa0、\t、\n方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-08-08
  • pycharm 使用心得(八)如何調用另一文件中的函數

    pycharm 使用心得(八)如何調用另一文件中的函數

    事件環(huán)境: pycharm 編寫了函數do() 保存在make.py 如何在另一個file里調用do函數?
    2014-06-06
  • Python中常見的數制轉換有哪些

    Python中常見的數制轉換有哪些

    在本篇文章里小編給大家整理的是一篇關于Python中常見的數制轉換例舉內容,有需要的朋友們可以跟著學習下。
    2020-05-05

最新評論

独山县| 茶陵县| 大洼县| 井冈山市| 珠海市| 镶黄旗| 包头市| 乡宁县| 革吉县| 邮箱| 高淳县| 江都市| 甘洛县| 安阳市| 金塔县| 平原县| 镇远县| 武强县| 乡城县| 潼南县| 龙海市| 满洲里市| 合江县| 鄯善县| 屏山县| 原平市| 靖边县| 和田县| 田东县| 嘉峪关市| 汤阴县| 辽宁省| 宕昌县| 安丘市| 和田县| 荥经县| 遂川县| 永嘉县| 五莲县| 南通市| 石泉县|