Spring Boot假死診斷實戰(zhàn)記錄
這兩天遇到一個服務(wù)假死的問題，具體現(xiàn)象就是服務(wù)不再接收任何請求，客戶端會拋出Broken Pipe。
檢查系統(tǒng)狀態(tài)
執(zhí)行top，發(fā)現(xiàn)CPU和內(nèi)存占用都不高，但是通過命令
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
發(fā)現(xiàn)有大量的CLOSE_WAIT端口占用，繼續(xù)調(diào)用該服務(wù)的api，等待超時之后發(fā)現(xiàn)CLOSE_WAIT的數(shù)量也沒有上升，也就是說服務(wù)幾乎完全僵死。
檢查JVM情況
懷疑可能是線程有死鎖，決定先dump一下線程情況，執(zhí)行
jstack <pid> > /tmp/thread.hump
發(fā)現(xiàn)tomcat線程基本也正常，都是parking狀態(tài)。
這就比較奇怪了，繼續(xù)想是不是GC導(dǎo)致了STW，使用jstat查看垃圾回收情況
app@server:/tmp$ jstat -gcutil 1 2000 10 S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 27.79 65.01 15.30 94.75 92.23 1338 44.375 1881 475.064 519.439
一看嚇一跳，F(xiàn)GC的次數(shù)居然超過了YGC，時長有475s。一定是有什么原因觸發(fā)了FGC，好在我們打開了GC log。
發(fā)現(xiàn)一段時間內(nèi)頻繁發(fā)生Allocation Failure引起的Full GC。而且eden區(qū)的使用占比也很大，考慮有頻繁新建對象逃逸到老年代造成問題。詢問了一下業(yè)務(wù)的開發(fā)，確認有一個外部對接API沒有分頁，查詢后可能會產(chǎn)生大量對象。
由于外部API暫時無法聯(lián)系對方修改，所以為了先解決問題，對原有的MaxNewSize進擴容，從192MB擴容到一倍。經(jīng)過幾天的觀察，發(fā)現(xiàn)gc基本趨于正常
S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 3.37 60.55 8.60 95.08 92.98 87 2.421 0 0.000 2.421
擴容之前對heap進行了dump
jmap -dump:format=b,file=heapDump <PID>
通過MAT分析內(nèi)存泄露，居然疑似是jdbc中的一個類，但其實整體占用堆容量并不多。
分析了線程數(shù)量，大約是240多條，與正常時也并沒有很大的出入。而且大量的是在sleep的定時線程。
總結(jié)
本次排查其實并未找到真正的原因，間接表象是FGC頻繁導(dǎo)致服務(wù)假死。而且acturator端口是正常工作的，導(dǎo)致health check進程誤認為服務(wù)正常，沒有觸發(fā)告警。如果你也遇到類似的情況歡迎一起討論。
好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。
相關(guān)文章
這篇文章主要介紹了springboot讀取自定義配置文件節(jié)點的方法，本文給大家介紹的非常不錯，具有一定的參考借鑒價值 ,需要的朋友可以參考下2018-05-05
這篇文章主要介紹了詳解IDEA JUnit5測試套件運行錯誤的問題,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
這篇文章主要介紹了JAVA中的隊列(Queue)詳解，隊列是一種特殊的線性表，遵循先入先出、后入后出的基本原則，一般來說，它只允許在表的前端進行刪除操作,需要的朋友可以參考下2023-07-07
這篇文章主要為大家詳細介紹了Linux下JDK安裝教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-06-06
最近在一個項目中遇到一個問題，當面對一些不規(guī)范的json,我們的gson解析經(jīng)常會拋出各種異常導(dǎo)致app崩潰,通過在網(wǎng)上查找資料，找到了原因，這篇文章給大家介紹了一些可以采取的措施來避免這種情況，有需要的朋友們可以一起來學習學習。2016-11-11
這篇文章主要介紹了Java多線程的臨界資源問題解決方案,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了如何在IntelliJ IDEA開發(fā)環(huán)境中搭建字節(jié)碼和匯編環(huán)境,以便更好地進行代碼調(diào)優(yōu)和JVM學習,首先,介紹了如何配置IntelliJ IDEA以方便查看Java字節(jié)碼文件,接著,詳細說明了如何下載和配置HSDIS插件,以便在IDEA中查看Java方法的匯編代碼2025-01-01
本篇文章主要介紹了Spring中的FactoryBean，如果一個bean的創(chuàng)建過程中涉及到很多其他的bean 和復(fù)雜的邏輯，用xml配置比較困難，這時可以考慮用FactoryBean2017-04-04
將本地SpringBoot項目發(fā)布到云服務(wù)器的方法
這篇文章主要介紹了如何將本地SpringBoot項目發(fā)布到云服務(wù)器,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-12-12
java?byte數(shù)組轉(zhuǎn)String的幾種常用方法
在Java中數(shù)組是一種非常常見的數(shù)據(jù)結(jié)構(gòu),它可以用來存儲多個相同類型的數(shù)據(jù),有時候,我們需要將數(shù)組轉(zhuǎn)換為字符串,以便于輸出或者傳遞給其他方法,這篇文章主要給大家介紹了關(guān)于java?byte數(shù)組轉(zhuǎn)String的幾種常用方法,需要的朋友可以參考下2024-09-09