前言

這次編寫Node.js項目的時候用到了日志模塊，其中碰到了一個小問題。

這是一個定時執(zhí)行可配置自動化任務(wù)的項目，所以輸出信息會不斷增加，也就意味著日志文件會隨時間不斷增大。如果對日志文件大小不加以控制，那么服務(wù)器的磁盤遲早會被撐滿。所以限制文件大小是有必要的。

最理想的控制方式就是當(dāng)文件大小超過限制時，清除最先記錄的數(shù)據(jù)。類似一個FIFO的隊列。

# 刪除前面的數(shù)據(jù)
- 1 xxx
 ......
 100 abc
# 文件末尾追加數(shù)據(jù)
+ 101 xxxx

log4js的file rolling

一提到記錄日志很多Node.js開發(fā)者肯定會找到log4js，先來看看log4js是怎么處理這個問題的。

log4js分為很多appenders（可以理解為記錄日志的媒介），file rolling功能可以通過函數(shù)來進(jìn)行配置。

file rolling功能有兩種方式：日期和文件大小。

要控制文件大小，當(dāng)然選擇后者。

為了測試這個功能是否滿足我們要求，寫一段循環(huán)代碼來寫日志。

const log4js = require('log4js')
// 配置log4js
log4js.configure({
 appenders: {
 everything: {
 type: 'file',
 filename: 'a.log',
 maxLogSize: 1000,
 backups: 0
 },
 },
 categories: {
 default: {
 appenders: ['everything'],
 level: 'debug'
 }
 }
});
const log = log4js.getLogger();
for (let i = 0; i < 41; i++) {
 const str = i.toString().padStart(6, '000000');
 log.debug(str);
}

執(zhí)行之后生成兩個文件a.log和a.log.1。

其中a.log.1有20行數(shù)據(jù)，實(shí)際大小1kb，a.log只有1行數(shù)據(jù)。

雖然確實(shí)控制了文件大小，但是會帶來兩個問題：

• 額外產(chǎn)生一個備份文件，總占用磁盤空間會超過文件限制。
• 日志文件內(nèi)容的大小是變動的，查詢?nèi)罩镜臅r候很可能需要聯(lián)合備份文件進(jìn)行查詢（比如上面的情況日志文件只有1行數(shù)據(jù)）。

推測log4js的實(shí)現(xiàn)邏輯可能是下面這樣：

• 檢查日志文件是否達(dá)到限制大小，如果達(dá)到則刪除備份文件，否則繼續(xù)寫入日志文件。
• 重命名日志文件為備份文件。

這顯然不能完全滿足需求。

字符串替換？

如果要在內(nèi)存中完成循環(huán)覆寫操作就比較簡單了，使用字符串或Buffer的即可完成。

• 添加字符串/Buffer長度，如果超過大小則截取。
• 寫入并覆蓋日志文件。

但是有一個很大的問題：占用內(nèi)存。

比如限制文件大小為1GB，有10個日志文件同時寫入，那么至少占用10GB內(nèi)存空間！

內(nèi)存可是比磁盤空間更寶貴的，如此明顯的性能問題，顯然也不是最優(yōu)解決方式。

file roll

按照需求可以把實(shí)現(xiàn)步驟拆成兩步：

• 追加最新的數(shù)據(jù)到文件末尾。（Node.js的fs模塊有相應(yīng)函數(shù)）
• 刪除文件開頭超出限制部分。（Node.js沒有響應(yīng)函數(shù)）

這兩步不分先后順序，但是Node.js沒有提供API來刪除文件開頭部分，只提供了修改文件指定位置的函數(shù)。

既然無法刪除文件開頭部分內(nèi)容，那么我們就換個思路，只保留文件末尾部分內(nèi)容（不超出大小限制）。

什么？這不是一個意思么？

略有區(qū)別~

刪除是在原有文件上進(jìn)行的操作，而保留內(nèi)容可以借助臨時文件來進(jìn)行操作。

所以思路變成：

1. 創(chuàng)建一個臨時文件，臨時文件的內(nèi)容來自于日志文件。
2. 往臨時文件中增加數(shù)據(jù)。
3. 將臨時文件中符合文件大小限制的內(nèi)容，從后往前（采取偏移量的形式）進(jìn)行讀取并復(fù)制到日志文件進(jìn)行覆蓋。
4. 為了不占用額外的磁盤空間，寫操作完成后刪除臨時文件。

這樣就不會出現(xiàn)像log4js一樣日志文件內(nèi)容不全的現(xiàn)象，也不會保留額外的臨時文件。但是對IO的操作會增加~
對于寫操作可以采取tail命令來實(shí)現(xiàn)，最終實(shí)現(xiàn)代碼如下：

private write(name: string, buf?: Buffer | string) {
 // append buf to tmp file
 const tmpName = name.replace(/(.*\/)(.*$)/, '$1_\.$2\.tmp');
 if (!existsSync(tmpName)) {
 copyFileSync(name, tmpName);
 }
 buf && appendFileSync(tmpName, buf);
 // if busy, wait
 if (this.stream && this.stream.readable) {
 this.needUpdateLogFile[name] = true;
 } else {
 try {
  execSync(`tail -c ${limit} ${tmpName} > ${name}`);
  try {
  if (this.needUpdateLogFile[name]) {
   this.needUpdateLogFile[name] = false;
   this.write(name);
  } else {
   existsSync(tmpName) && unlinkSync(tmpName);
  }
  } catch (e) {
  console.error(e);
  }
 } catch (e) {
  console.error(e);
 }
 }
}

總結(jié)

完成這個功能有兩點(diǎn)感悟：

1. 量變引起質(zhì)變。當(dāng)數(shù)據(jù)量變大時，很多簡單的處理方式就不可以用了，比如寫文件，如果直接使用writeFile會占用大量內(nèi)存甚至有可能內(nèi)存都不夠用。所以要通過合適的方式進(jìn)行拆分，拆分過程中又會碰到各種問題，比如本文中截取文件內(nèi)容的要求。
2. 學(xué)會借力。君子性非異也善假于物也~當(dāng)無法在單個點(diǎn)完成操作的時候可以借助外部條件來實(shí)現(xiàn)，比如在本文中使用臨時文件來保存數(shù)據(jù)內(nèi)容。

好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。

最新評論