Python3實時操作處理日志文件的實現(xiàn)

更新時間：2023年03月28日 15:13:36 作者：豬笨是念來過倒

本文主要介紹了Python3實時操作處理日志文件的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

一、簡單的實時文件處理（單一文件）

假設我們要實時讀取的日志的路徑為： /data/mongodb/shard1/log/pg.csv

那么我們可以在python文件中使用shell腳本命令tail -F 進行實時讀取并操作

代碼如下：

import re
import codecs
import subprocess
 
def pg_data_to_elk():
    p = subprocess.Popen('tail -F /data/mongodb/shard1/log/pg.csv', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE,)    #起一個進程，執(zhí)行shell命令
    while True:
        line = p.stdout.readline()   #實時獲取行
        if line:                     #如果行存在的話
            xxxxxxxxxxxx
            your operation

簡單解釋一下subprocess模塊：

subprocess允許你生成新的進程，連接到它們的 input/output/error 管道，并獲取它們的返回（狀態(tài)）碼。

subprocess.Popen介紹

該類用于在一個新的進程中執(zhí)行一個子程序。

subprocess.Popen的構(gòu)造函數(shù)

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, 
    preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,
    startup_info=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=())

參數(shù)說明：

args：要執(zhí)行的shell命令，可以是字符串，也可以是命令各個參數(shù)組成的序列。當該參數(shù)的值是一個字符串時，該命令的解釋過程是與平臺相關的，因此通常建議將args參數(shù)作為一個序列傳遞。
stdin, stdout, stderr：分別表示程序標準輸入、輸出、錯誤句柄。
shell：該參數(shù)用于標識是否使用shell作為要執(zhí)行的程序，如果shell值為True，則建議將args參數(shù)作為一個字符串傳遞而不要作為一個序列傳遞。

二、復雜的實時文件處理（不斷產(chǎn)生新文件）

如果日志會在滿足一定條件下產(chǎn)生新的日志文件，比如log1.csv已經(jīng)到了20M，那么則會寫入log2.csv，這樣一天下來大概有1000多個文件，且不斷產(chǎn)生新的，那么如何進行實時獲取呢？

思路如下：

在實時監(jiān)聽（tail -F）中加入當前文件的大小判定，如果當前文件大小大于20M，那么跳出實時監(jiān)聽，獲取新的日志文件。（如果有其他判定條件也是這個思路，只不過把當前文件大小的判定換成你所需要的判定）

代碼如下：

import re
import os
import time
import codecs
import subprocess
from datetime import datetime
 
path = '/home/liao/python/csv'
time_now_day = datetime.now.strftime('%Y-%m-%d')
 
def get_file_size(new_file):
    fsize = os.path.getsize(new_file)
    fsize = fsize/float(1024*1024)
    return fsize
 
def get_the_new_file():
    files = os.listdir(path)
    files_list = list(filter(lambda x:x[-4:]=='.csv' and x[11:21]==time_now_day, files))
    files_list.sort(key=lambda fn:os.path.getmtime(path + '/' + fn) if not os.path.isdir(path + '/' + fn) else 0)
    new_file = os.path.join(path, files_list[-1])
    return new_file
 
def pg_data_to_elk():
    while True:
        new_file = get_the_new_file()
        p = subprocess.Popen('tail -F {0}'.format(new_file), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE,)    #起一個進程，執(zhí)行shell命令
        while True:
            line = p.stdout.readline()   #實時獲取行
            if line:                     #如果行存在的話
                if get_file_size(new_file) > 20:    #如果大于20M，則跳出循環(huán)
                    break
                xxxxxxxxxxxx
                your operation
        time.sleep(3)

到此這篇關于Python3實時操作處理日志文件的實現(xiàn)的文章就介紹到這了,更多相關Python3實時操作日志文件內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: