Golang內(nèi)存泄露場景與定位方式的實(shí)現(xiàn)

更新時(shí)間：2024年04月19日 09:41:56 作者：每天一個(gè)禿頂小技巧

Golang有自動垃圾回收機(jī)制,但是仍然可能會出現(xiàn)內(nèi)存泄漏的情況,本文主要介紹了Golang內(nèi)存泄露場景與定位方式的實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下

一、產(chǎn)生原因

Golang有自動垃圾回收機(jī)制，但是仍然可能會出現(xiàn)內(nèi)存泄漏的情況。以下是Golang內(nèi)存泄漏的常見可能原因：

循環(huán)引用：如果兩個(gè)或多個(gè)對象相互引用，且沒有其他對象引用它們，那么它們就會被垃圾回收機(jī)制誤認(rèn)為是仍在使用的對象，導(dǎo)致內(nèi)存泄漏。
全局變量：在Golang中，全局變量的生命周期與程序的生命周期相同。如果一個(gè)全局變量被創(chuàng)建后一直存在于內(nèi)存中，那么它所占用的內(nèi)存就無法被回收，可能會導(dǎo)致內(nèi)存泄漏。
未關(guān)閉的文件句柄：如果程序打開了文件句柄但沒有關(guān)閉它們，那么這些文件句柄所占用的內(nèi)存就無法被回收，可能會導(dǎo)致內(nèi)存泄漏。
大量的臨時(shí)對象：如果程序創(chuàng)建了大量的臨時(shí)對象，但沒有及時(shí)釋放它們，那么這些對象所占用的內(nèi)存就無法被回收，可能會導(dǎo)致內(nèi)存泄漏。
goroutine泄漏：常見的泄露場景，例如協(xié)程發(fā)生阻塞，Go運(yùn)行時(shí)并不會將處于永久阻塞狀態(tài)的協(xié)程殺掉，因此永久處于阻塞狀態(tài)的協(xié)程所占用的資源將永得不到釋放。
time.Ticker未關(guān)閉導(dǎo)致泄漏：當(dāng)一個(gè)time.Timer值不再被使用，一段時(shí)間后它將被自動垃圾回收掉。但對于一個(gè)不再使用的time.Ticker值，我們必須調(diào)用它的Stop方法結(jié)束它，否則它將永遠(yuǎn)不會得到回收。

二、排查方式

如果出現(xiàn)內(nèi)存泄漏，可以使用以下方式進(jìn)行分析，找出內(nèi)存泄漏的原因并進(jìn)行修復(fù)。

使用 Go 語言自帶的 pprof 工具進(jìn)行分析。pprof 可以生成程序的 CPU 和內(nèi)存使用情況的報(bào)告，幫助開發(fā)者找出程序中的性能瓶頸和內(nèi)存泄漏問題?？梢酝ㄟ^在代碼中添加 import _ "net/http/pprof" 和 http.ListenAndServe("localhost:6060", nil) 來開啟 pprof 工具。
使用 Golang 內(nèi)置的 runtime 包進(jìn)行分析。runtime 包提供了一些函數(shù)，包括 SetFinalizer、ReadMemStats 和 Stack 等，可以幫助開發(fā)者了解程序的內(nèi)存使用情況和內(nèi)存泄漏問題。
使用第三方工具進(jìn)行分析。例如，可以使用 go-torch 工具生成火焰圖，幫助開發(fā)者找出程序中的性能瓶頸和內(nèi)存泄漏問題。
使用 go vet 工具進(jìn)行靜態(tài)分析。go vet 可以檢查程序中的常見錯誤和潛在問題，包括內(nèi)存泄漏問題。
代碼審查。開發(fā)者可以通過代碼審查來找出程序中的潛在問題和內(nèi)存泄漏問題。

三、通過 pprof 的命令排查內(nèi)存泄露問題

3.1 通過 pprof 的命令行分析 heap

命令行執(zhí)行命令: go tool pprof -inuse_space [<http://127.0.0.1:9999/debug/pprof/heap>](<http://spark-master.x.upyun.com/debug/pprof/heap>)

這個(gè)命令的作用是, 抓取當(dāng)前程序已使用的 heap. 抓取后, 就可以進(jìn)行類似于 gdb 的交互操作.

top 命令, 默認(rèn)能列出當(dāng)前程序中內(nèi)存占用排名前 10 的函數(shù). 如圖. 當(dāng)時(shí)進(jìn)行到這一步的時(shí)候, 我就非常驚訝, 因?yàn)?nbsp;time.NewTimer 居然占據(jù)了 6 個(gè)多 G 的內(nèi)存.

list <函數(shù)名>, 展現(xiàn)函數(shù)內(nèi)部的內(nèi)存占用. 使用 list time.NewTimer 查看了該函數(shù)的內(nèi)部, 真相大白了, 原來每次調(diào)用 NewTimer 都會創(chuàng)建一個(gè) channel, 還會生成一個(gè)結(jié)構(gòu)體 runtimeTimer, 應(yīng)該就是這兩個(gè)地方內(nèi)存沒有釋放造成的內(nèi)存泄露.

3.2 修改 for ... select ... time.After 造成的內(nèi)存泄露

原來程序中存在如下代碼:

for {
		select {

		case a := <-chanA:
			...

		case b := <-chanB:
			....

		case <-time.After(20*time.Minutes):
			return nil, errors.New("download timeout")
	}

time.After 就是封裝了一層的 NewTimer, time.After 的源碼:

func After(d Duration) <-chan Time {
	return NewTimer(d).C
}

修復(fù)該錯誤, 只調(diào)用一次 NewTimer:

downloadTimeout := time.NewTimer(20 * time.Minute)
// 添加關(guān)閉時(shí)退出操作
defer downloadTimeout.Stop()

for {
		select {

		case a := <-chanA:
			...

		case b := <-chanB:
			....

		case <-downloadTimeout.C:
			return nil, errors.New("download timeout")
	}

四、總結(jié)

通過這篇文章我們了解到Golang內(nèi)存泄漏的常見可能原因有哪些：

循環(huán)引用：如果兩個(gè)或多個(gè)對象相互引用，且沒有其他對象引用它們，那么它們就會被垃圾回收機(jī)制誤認(rèn)為是仍在使用的對象，導(dǎo)致內(nèi)存泄漏。
全局變量：在Golang中，全局變量的生命周期與程序的生命周期相同。如果一個(gè)全局變量被創(chuàng)建后一直存在于內(nèi)存中，那么它所占用的內(nèi)存就無法被回收，可能會導(dǎo)致內(nèi)存泄漏。
未關(guān)閉的文件句柄：如果程序打開了文件句柄但沒有關(guān)閉它們，那么這些文件句柄所占用的內(nèi)存就無法被回收，可能會導(dǎo)致內(nèi)存泄漏。
大量的臨時(shí)對象：如果程序創(chuàng)建了大量的臨時(shí)對象，但沒有及時(shí)釋放它們，那么這些對象所占用的內(nèi)存就無法被回收，可能會導(dǎo)致內(nèi)存泄漏。
goroutine泄漏：比較常見的泄露場景，例如協(xié)程發(fā)生阻塞，Go運(yùn)行時(shí)并不會將處于永久阻塞狀態(tài)的協(xié)程殺掉，因此永久處于阻塞狀態(tài)的協(xié)程所占用的資源將永得不到釋放。
time.Ticker未關(guān)閉導(dǎo)致泄漏：當(dāng)一個(gè)time.Timer值不再被使用，一段時(shí)間后它將被自動垃圾回收掉。但對于一個(gè)不再使用的time.Ticker值，我們必須調(diào)用它的Stop方法結(jié)束它，否則它將永遠(yuǎn)不會得到回收。

然后介紹了相關(guān)排查工具以及pprof如何排查內(nèi)存泄露問題。