使用filebeat收集并解析springboot日志過程示例
序
本文主要研究一下如何使用filebeat收集并解析springboot日志
安裝
在官網的下載頁面filebeat/downloads提供了一些特定平臺的安裝包，不過對應linux最為省事的安裝方式就是直接下載x86_64壓縮包，然后解壓即可
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.0-linux-x86_64.tar.gz
解析
filebat.yml主要有input和output組成
json
比如對于json格式的日志，其input示例如下
filebeat.inputs:
- type: log
paths:
- "/data/logs/*/error.log"
document_type: json
json.message_key: log
json.keys.under_root: true
json.overwrite_keys: true
fields:
logType: errJson
fields_under_root: true 對于json類型的指定document_type為json，其中json.message_key用于指定json中哪個字段為message
logback
springboot logback默認的file pattern為
org/springframework/boot/spring-boot/2.7.14/spring-boot-2.7.14.jar!/org/springframework/boot/logging/logback/defaults.xml
<property name="FILE_LOG_PATTERN" value="${FILE_LOG_PATTERN:-%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} ${LOG_LEVEL_PATTERN:-%5p} ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>打印出來的示例如下
2023-08-05 20:47:11.069 INFO 3396 --- [ main] org.example.Main : Started Main in 1.662 seconds (JVM running for 2.228)
針對這個，可以用filebeat的dissect來解析，如下
filebeat.inputs:
- type: stdin
processors:
- dissect:
tokenizer: "%{logDate} %{logTime} %{logLevel} %{pid} --- [%{thread}] %{logger} : %{message}"
field: "message"
output.console:
enabled: true
pretty: true解析出來的json如下
{
"@timestamp": "2023-08-05T12:53:28.738Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "8.9.0"
},
"log": {
"offset": 0,
"file": {
"path": ""
}
},
"message": "2023-08-05 20:47:11.069 INFO 3396 --- [ main] org.example.Main : Started Main in 1.662 seconds (JVM running for 2.228)",
"input": {
"type": "stdin"
},
"dissect": {
"logTime": "20:47:11.069",
"logLevel": "INFO",
"pid": "3396",
"thread": " main",
"logger": "org.example.Main ",
"message": "Started Main in 1.662 seconds (JVM running for 2.228)",
"logDate": "2023-08-05"
},
"agent": {
"name": "dembp",
"type": "filebeat",
"version": "8.9.0",
"ephemeral_id": "4e4a9ee3-4682-41ab-ad9b-f4821543d991",
"id": "597a1a87-8165-492b-a9e8-d6530376b179"
},
"ecs": {
"version": "8.0.0"
},
"host": {
"name": "dembp"
}
}處理換行
上面給的例子其實沒有處理換行的情況，這個時候可以使用filebeat的multiline來指定，比如
filebeat.inputs:
- type: stdin
multiline:
pattern: '^\d{4}-\d{2}-\d{2}'
negate: true
match: after 這里指定用^\d{4}-\d{2}-\d{2}來匹配日期開頭的日志，匹配上了就是一條日志；negate為true表示沒有匹配上的那一行歸屬上面一條日志，而match的after代表合并到上一行的末尾，before代表合并到下一行的開頭
輸出
對于大型的應用，一般filebeat做輕量級的收集，不做解析，解析交給logstash或者elasticsearch pipeline或者其他中間服務；而對于一些小型規(guī)模的或者是非生產環(huán)境，在多部署一個logstash顯得有點繁瑣，可以用dissect替代logstash的grok進行日志解析，然后就可以直接output到目標服務，比如elasticsearch
logstash
output:
logstash:
hosts: ["192.168.99.100:5044"]elasticsearch
output.elasticsearch: hosts: ["192.168.99.100:9200"] username: "xxxx" password: "xxxx"
小結
filebeat提供了processor能力，其中dissect替代logstash的grok進行日志解析，非常便捷。
doc dissect
以上就是使用filebeat收集并解析springboot日志的詳細內容，更多關于使用filebeat收集并解析springboot日志的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要介紹了Java子類對象的實例化過程,結合具體實例形式分析了java子類對象的實例化的步驟、原理、實現(xiàn)方法,需要的朋友可以參考下2019-09-09
本文主要介紹了JVM進程緩存Caffeine的使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-01-01
nodejs連接dubbo服務的java工程實現(xiàn)示例
這篇文章主要介紹了在項目遷移中，nodejs連接dubbo服務的java工程實現(xiàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2022-03-03
SpringBoot整合Shiro實現(xiàn)登錄認證的方法
這篇文章主要介紹了SpringBoot整合Shiro實現(xiàn)登錄認證的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
這篇文章主要介紹了Java中Range函數(shù)的簡單介紹，Java中的range方法用于返回IntStream和LongStream在函數(shù)參數(shù)范圍內的順序值2022-07-07
這篇文章主要介紹了Java實現(xiàn)AES加密算法的簡單示例分享,AES算法是基于對密碼值的置換和替代,需要的朋友可以參考下2016-04-04
Cursor IDE中SpringBoot項目啟動內存不足問題的解決方案
在CursorIDE中運行SpringBoot項目時,可能出現(xiàn)啟動失敗、報錯等問題,這些問題通常與JVM內存設置不當有關,本文總結了多種解決方案,需要的朋友可以參考下2026-04-04
Spring Cloud實現(xiàn)跨語言微服務通信的三種方案
本文深入探討Spring Cloud實現(xiàn)跨語言微服務通信的三大核心方案： Sidecar模式：通過代理非Java服務,性能提升5倍,延遲從150ms降至30ms ASM+MSE方案：結合阿里云服務網格,吞吐量提升3倍至2400TPS Feign+自定義序列化,需要的朋友可以參考下2026-05-05
這篇文章主要介紹了在Mybatis中association標簽多層嵌套的問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-03-03
Java使用Tinify實現(xiàn)圖片無損壓縮(4M無損壓縮到1M)的方法
在當今的數(shù)字化時代,圖片已成為網站、應用和社交媒體中不可或缺的元素,然而,大尺寸的圖片不僅會增加頁面或者客戶端加載時間,還會占用大量的存儲空間,本文將詳細介紹如何利用Tinify壓縮圖片,并將其上傳至OSS,重點介紹圖片壓縮實現(xiàn)方式,需要的朋友可以參考下2024-08-08