PostgreSQL?Log日志模塊原理及存在的問題詳解

更新時間：2024年02月03日 09:19:58 作者：總想玩世不恭

這篇文章主要給大家介紹了關于PostgreSQL?Log日志模塊原理及存在的問題的相關資料,先日志在我們開發(fā)過程中占據(jù)了一個非常重要的地位,是開發(fā)和運維管理之間的橋梁,文中通過代碼介紹的非常詳細,需要的朋友可以參考下

背景

PG 的日志模塊是一個相對獨立的模塊，主要功能就是打印用戶的操作日志以及一些異常報錯信息。本文僅講述 logging_collector 參數(shù)開啟的情況。

PG 有各種各樣的進程，其中 syslogger 進程專門用于打印日志信息。

而其余進程打印日志的方法如出一轍：將需要打印的信息發(fā)送給 syslogger 進程，由其統(tǒng)一負責打印。

syslogger 的大體邏輯如下圖所示：

postmaster 進程在 SysLogger_Start 函數(shù)完成部分初始化；
由 postmaster 進程 fork 出 syslogger 進程；
進入 syslogger 的主邏輯函數(shù) SysLoggerMain 中，大循環(huán)監(jiān)聽其他進程發(fā)送來的日志消息，處理打印邏輯。在大循環(huán)中同時也根據(jù)時間和大小，來判斷是否進行日志輪轉。

PG 的其余進程如果有需要打印的日志，通常會調用 elog 或者 ereport 來打印。而這兩個函數(shù)會將日志消息分成若干個 chunk 發(fā)送給 syslogger 進程，每個 chunk 的結構可參考下圖（源碼中的 PipeProtoChunk 結構）

開頭兩個 \0 ，表示是日志開頭
length：用于記錄當前 chunk 的長度
pid：發(fā)送該 chunk 的進程號
is_last：是否是本條日志消息的最后一個 chunk；
data：具體的日志消息。
chunk 大小：PIPE_CHUNK_SIZE ，源碼 define 出的一個值，由 OS 的 PIPE_BUF 決定。具體細節(jié)可參考這部分定義的代碼。
注： PG 15 在 pipe 協(xié)議格式中做了一些變化，由 flags 代替 is_last 標記。

syslogger 在接收到日志消息后，將其按照 pid 進行分組，相同的 pid 說明日志消息來源于同一進程，將其組裝起來，當收到包含 is_last 標記的最后一個 chunk 后，將整條日志消息打印到日志文件。

所謂日志輪轉，指的就是不想繼續(xù)寫當前日志文件了，需要新找一個日志文件繼續(xù)寫日志。

PG 的日志輪轉是一個坑非常多的地方，因為它由下面四個參數(shù)同時控制：

log_filename ：日志文件格式，我們以其設定為 postgres_%d_%h 為例，某個月 14 號 15 點的日志文件名就是 postgres_14_15.log
log_rotation_age：如果距離當前日志文件已經(jīng)超過設定的時間，那么就新開一個日志文件；
log_rotation_size：如果距離當前日志文件還沒有超過 log_rotation_age 設定的時間，但是已經(jīng)超過了 log_rotation_size 設定的大小，那么就新開一個日志文件；
log_truncate_on_rotation：是否在按時間輪轉后做截斷。即如果下一個日志文件的同名文件已經(jīng)存在了，是否直接清空該文件并從頭開始寫；

這幾個參數(shù)的具體使用可參考 PG 官方文檔?？赐晟厦娴慕榻B，想必大家已經(jīng)精通日志參數(shù)設置了，那么接下來做幾道題檢驗自己的學習成果。

假如，我們按照以下值設定日志相關參數(shù)

log_filename='postgres_%d_%h.log'
log_rotation_age = 2h
log_rotation_size = 10MB
log_truncate_on_rotation = on

Q：此時時間剛到 14 號下午 17 點，日志文件為 postgres_14_16.log，且大小為 5MB，請問接下來要寫的日志文件是什么？
A：postgres_14_16.log 。因為此時距離 15 點僅過了 1h，沒有超過 log_rotation_age；大小并沒有超過 log_rotation_size ，所以并不發(fā)生輪轉。

Q：此時時間為 14 號下午 16 點 30 分，日志文件為 postgres_14_16.log，且大小剛剛超過 10MB 到達 10.9MB，請問接下來要寫的日志文件是什么？
A：postgres_14_16.log 。因為 log_filename 參數(shù)的最小精度值就到小時，哪怕當前日志文件大小變成 1TB 也只會繼續(xù)追加寫這個文件。

Q：此時時間剛到 14 號下午 17 點，日志文件為 postgres_14_16.log，且大小剛剛超過 10MB 到達 10.9MB，請問接下來要寫的日志文件是什么？
A：postgres_14_17.log 。因為滿足 log_rotation_size 的輪轉條件了。

Q：此時時間剛到 14 號下午 17 點，日志文件為 postgres_14_16.log，且大小剛剛超過 10MB 到達 10.9MB，但是名為 postgres_14_17.log 的文件已經(jīng)存在了（上個月日志創(chuàng)建的），那么是追加寫還是覆蓋寫該文件？
A：追加寫，因為這是按大小輪轉。

Q：此時時間剛到 14 號下午 18 點，日志文件為 postgres_14_16.log，且大小只有 0.1MB。但是名為 postgres_14_18.log 的文件已經(jīng)存在了，那么是追加寫還是覆蓋寫該文件？
A：覆蓋寫，log_rotation_age 強制觸發(fā)按時間輪轉邏輯。

上面問題都能搞懂，基本也沒什么坑了。