Kafka日志清理實(shí)現(xiàn)詳細(xì)過(guò)程講解
Kafka日志清理目前主要有兩種策略：
- 日志刪除
- 日志壓縮：日志壓縮就是根據(jù)key來(lái)保留最后一條消息。
Kafka提供log.cleanup.policy參數(shù)進(jìn)行相應(yīng)配置，默認(rèn)值：delete，還可以選擇compact。
日志刪除
| 配置 | 默認(rèn)值 | 說(shuō)明 |
|---|---|---|
| log.retention.check.interval.ms | 300000 (5分鐘) | 檢測(cè)頻率 |
| log.retention.hours | 168 (7天) | 日志保留時(shí)間小時(shí) |
| log.retention.minutes | 日志保留時(shí)間分鐘 | |
| log.retention.ms | 日志保留時(shí)間毫秒 | |
| file.delete.delay.ms | 60000 (1分鐘) | 延遲執(zhí)行刪除時(shí)間 |
| log.retention.bytes | -1 無(wú)窮大 | 運(yùn)行保留日志文件最大值 |
| log.retention.bytes | 1073741824 (1G) | 日志文件最大值 |
Kafka會(huì)根據(jù)檢測(cè)頻率周期性的檢測(cè)日志是否需要?jiǎng)h除，日志刪除策略主要有以下集中：
- 基于時(shí)間的刪除策略
- 基于文件大小的刪除策略
- 基于日志文件起始偏移量
基于時(shí)間刪除
Kafka會(huì)查找日志段的時(shí)間戳索引文件中的最后一條記錄，如果最后一條timestamp小于0，則取最近修改時(shí)間。
當(dāng)確認(rèn)完需要?jiǎng)h除的日志段以后，需要進(jìn)行以下刪除操作：
- 從日志對(duì)象中所維護(hù)日志分段的ConcurrentSkipListMap中移除待刪除的日志分段，保證沒(méi)有線程對(duì)這些日志分段進(jìn)行讀取操作。
- 為日志段中的所有文件加上.delete后綴
- Kafka中會(huì)有一個(gè)命名為"delete-file"的延遲任務(wù)來(lái)刪除這些無(wú)效的日志數(shù)據(jù)
假如當(dāng)前日志段中也有需要?jiǎng)h除的數(shù)據(jù)，那么kafka會(huì)先進(jìn)行分段，創(chuàng)建一個(gè)新的活躍日志段，然后執(zhí)行刪除操作。
基于大小刪除
- 計(jì)算需要?jiǎng)h除的日志大小的總和（當(dāng)前日志大小-所允許的日志文件最大值）
- 然后從第一個(gè)日志分段開(kāi)始查找，查找可以進(jìn)行刪除的日志段集合
- 最后執(zhí)行刪除操作
基于日志文件起始偏移量
日志文件起始偏移量默認(rèn)等于第一個(gè)日志段的基準(zhǔn)偏移量，但隨著數(shù)據(jù)的刪除操作，該值也在不斷變化。
基于日志文件起始偏移量的判斷規(guī)則是，如果一個(gè)日志段的下一個(gè)日志段的起始偏移量如果小于日志文件起始偏移量，那么該日志段就可以被加入到刪除隊(duì)列，最后執(zhí)行刪除。
以上就是Kafka日志清理實(shí)現(xiàn)詳細(xì)過(guò)程講解的詳細(xì)內(nèi)容，更多關(guān)于Kafka日志清理的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
當(dāng)我們處理集合數(shù)據(jù)時(shí),往往需要對(duì)其進(jìn)行各種操作,如過(guò)濾、映射、排序、歸約等,在 Java 8 中引入的 Stream 流為我們提供了一種更加簡(jiǎn)潔和靈活的方式來(lái)處理數(shù)據(jù),本文將介紹如何基于 Stream 構(gòu)建流,為你展示創(chuàng)建和操作流的多種方法2023-08-08
本篇文章主要通過(guò)實(shí)例代碼介紹了JAVA讀取PDF、WORD文檔，需要的朋友可以參考下2017-04-04
舉例解析Java的設(shè)計(jì)模式編程中里氏替換原則的意義
這篇文章主要介紹了Java的設(shè)計(jì)模式中里氏替換原則的意義,文中舉例來(lái)說(shuō)明里氏替換原則中強(qiáng)調(diào)的繼承特性方面可能帶來(lái)的問(wèn)題,需要的朋友可以參考下2016-02-02
Java?file類(lèi)中renameTo方法操作實(shí)例
renameTo()方法是File類(lèi)的一部分,renameTo()函數(shù)用于將文件的抽象路徑名重命名為給定的路徑名??,下面這篇文章主要給大家介紹了關(guān)于Java?file類(lèi)中renameTo方法操作的相關(guān)資料,需要的朋友可以參考下2022-11-11
If-Else結(jié)構(gòu)是一種常見(jiàn)的條件判斷語(yǔ)句,通過(guò)優(yōu)化If-Else結(jié)構(gòu),可以提高代碼的可讀性和執(zhí)行效率,本文主要介紹了java優(yōu)化if-else的11種方案,感興趣的可以了解一下2024-08-08
Spring MVC之WebApplicationContext_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要介紹了Spring MVC之WebApplicationContext的相關(guān)資料,需要的朋友可以參考下2017-08-08
Mybatis的類(lèi)型轉(zhuǎn)換接口TypeHandler
這篇文章主要介紹了Mybatis的類(lèi)型轉(zhuǎn)換接口TypeHandler，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的朋友可以參考一下2022-08-08
SpringBoot整合RabbitMQ實(shí)現(xiàn)六種工作模式的示例
這篇文章主要介紹了SpringBoot整合RabbitMQ實(shí)現(xiàn)六種工作模式,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-07-07
基于Jenkins搭建.NET Core持續(xù)集成環(huán)境過(guò)程圖解
這篇文章主要介紹了基于Jenkins搭建.NET Core持續(xù)集成環(huán)境過(guò)程圖解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
在JVM的運(yùn)轉(zhuǎn)中，承載的是數(shù)據(jù)，而數(shù)據(jù)的一種變現(xiàn)形式就是“量”，量分為：常量與變量，我們?cè)跀?shù)學(xué)和物理學(xué)中已經(jīng)接觸過(guò)變量的概念了，在Java中的變量就是在程序運(yùn)行過(guò)程中可以改變其值的量，這篇文章主要介紹了Java中的方法、常量、變量、參數(shù),需要的朋友可以參考下2024-01-01