Python中的垃圾回收gc.collect()詳細(xì)指南
Python中的垃圾回收gc.collect()
gc.collect() 是 Python 中 gc(Garbage Collector,垃圾回收)模塊里的一個(gè)非常重要的函數(shù)。它的主要作用是 手動(dòng)觸發(fā) Python 的垃圾回收機(jī)制,強(qiáng)制清理內(nèi)存中不再被使用的對(duì)象。
雖然 Python 有自動(dòng)的內(nèi)存管理,但在處理大量數(shù)據(jù)或特定情況下,手動(dòng)調(diào)用它能幫你釋放內(nèi)存。
下面是關(guān)于它“怎么用”、“什么時(shí)候用”以及“原理”的詳細(xì)指南:
1. 最基礎(chǔ)的用法
你只需要導(dǎo)入 gc 模塊,然后調(diào)用該函數(shù)即可:
import gc
# 你的代碼...(比如處理了大量數(shù)據(jù))
# 手動(dòng)觸發(fā)垃圾回收
released_objects = gc.collect()
print(f"成功清理了 {released_objects} 個(gè)不可達(dá)對(duì)象")返回值:gc.collect() 會(huì)返回一個(gè)整數(shù),表示這次回收過程中發(fā)現(xiàn)并清理的不可達(dá)對(duì)象(unreachable objects)的數(shù)量。
2. 為什么需要gc.collect()?(它解決了什么問題)
Python 的內(nèi)存管理主要依賴引用計(jì)數(shù)(Reference Counting)。當(dāng)一個(gè)對(duì)象的引用次數(shù)變?yōu)?0 時(shí),Python 會(huì)立刻回收它。
但是,引用計(jì)數(shù)有一個(gè)致命弱點(diǎn):循環(huán)引用(Circular References)。
看下面這個(gè)例子:
import gc
class Node:
def __init__(self, name):
self.name = name
# 創(chuàng)建兩個(gè)對(duì)象
a = Node("A")
b = Node("B")
# 讓它們互相引用(造成循環(huán)引用)
a.friend = b
b.friend = a
# 嘗試刪除它們
del a
del b
# 此時(shí),a和b雖然在程序里找不到了,但它們互相還在引用對(duì)方!
# 它們的引用計(jì)數(shù)不是0,Python默認(rèn)的引用計(jì)數(shù)機(jī)制無法回收它們,這會(huì)導(dǎo)致內(nèi)存泄漏。
# 強(qiáng)行調(diào)用 gc.collect() 可以找出并清理這種循環(huán)引用的垃圾
n = gc.collect()
print(f"清理了 {n} 個(gè)由于循環(huán)引用產(chǎn)生的垃圾")3. 高級(jí)用法:分代回收(Generations)
Python 的垃圾回收器把對(duì)象分為 3 代(Generation 0, 1, 2):
- 第 0 代:新創(chuàng)建的對(duì)象。
- 第 1 代:經(jīng)歷過一次垃圾回收依然存活的對(duì)象。
- 第 2 代:存活了很久的“老”對(duì)象。
你可以給 gc.collect() 傳入一個(gè)參數(shù) generation(0、1 或 2),指定只清理某一代及其以下的垃圾:
import gc # 只檢查并清理第 0 代(速度最快) gc.collect(0) # 檢查并清理第 0 代和第 1 代 gc.collect(1) # 檢查所有代(0, 1, 2),等同于 gc.collect(),最徹底但也最耗時(shí) gc.collect(2)
4. 什么時(shí)候應(yīng)該使用gc.collect()?
在 95% 的日常編程中,你不需要用到它,因?yàn)?Python 的自動(dòng)垃圾回收已經(jīng)足夠聰明了。但在以下場(chǎng)景,手動(dòng)調(diào)用非常有用:
- 深度學(xué)習(xí)/機(jī)器學(xué)習(xí)訓(xùn)練時(shí):
在處理大型張量(Tensors)或每個(gè) Epoch 訓(xùn)練結(jié)束后,內(nèi)存可能會(huì)飆升。這時(shí)調(diào)用一下gc.collect(),配合清空顯存(如torch.cuda.empty_cache()),可以有效防止 OOM (Out Of Memory)。 - 處理超大文件或數(shù)據(jù)集:
比如在一個(gè)for循環(huán)中,每次循環(huán)讀取一個(gè)幾個(gè) GB 的 CSV 文件,處理完后,在進(jìn)入下一次循環(huán)前手動(dòng)gc.collect(),確保上一個(gè)文件的內(nèi)存被徹底釋放。 - 長(zhǎng)時(shí)間運(yùn)行的后臺(tái)服務(wù)(Daemon):
為了防止由于微小的循環(huán)引用導(dǎo)致的緩慢內(nèi)存泄漏,可以在定時(shí)任務(wù)中(比如每小時(shí))手動(dòng)觸發(fā)一次。
5. ?? 注意事項(xiàng)與副作用
- 不要過度使用:垃圾回收是一個(gè)很耗時(shí)的過程(它需要掃描內(nèi)存中的對(duì)象)。如果把它放在高頻的循環(huán)(如每秒執(zhí)行一千次的
while循環(huán))里,會(huì)讓你的程序變得非常卡頓。 - 導(dǎo)致程序暫停(Stop-the-world):在執(zhí)行
gc.collect()的那幾毫秒/幾秒內(nèi),你的 Python 程序其他邏輯是暫停執(zhí)行的。
總結(jié):在做完一次大規(guī)模的內(nèi)存操作、或者刪除了巨大的對(duì)象之后,才是使用 gc.collect() 的最佳時(shí)機(jī)。平時(shí)就放心交給 Python 自動(dòng)處理吧!
到此這篇關(guān)于Python中的垃圾回收gc.collect()的文章就介紹到這了,更多相關(guān)python 垃圾回收gc.collect()內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python內(nèi)置函數(shù)frozenset()的使用小結(jié)
本篇文章主要介紹了python內(nèi)置函數(shù)frozenset()的使用小結(jié),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-05-05
使用python檢測(cè)網(wǎng)頁文本內(nèi)容屏幕上的坐標(biāo)
在 Web 開發(fā)中,經(jīng)常需要對(duì)網(wǎng)頁上的文本內(nèi)容進(jìn)行處理和操作,有時(shí)候,我們可能需要知道某個(gè)特定文本在屏幕上的位置,以便進(jìn)行后續(xù)的操作,所以本文將介紹如何使用 Python 中的 Selenium 和 BeautifulSoup 庫來檢測(cè)網(wǎng)頁文本內(nèi)容在屏幕上的坐標(biāo),需要的朋友可以參考下2024-04-04
用Python的線程來解決生產(chǎn)者消費(fèi)問題的示例
這篇文章主要介紹了用Python的線程來解決生產(chǎn)者消費(fèi)問題的示例,包括對(duì)使用線程中容易出現(xiàn)的一些問題給出了相關(guān)解答,需要的朋友可以參考下2015-04-04
Python數(shù)據(jù)庫封裝實(shí)現(xiàn)代碼示例解析
這篇文章主要介紹了Python數(shù)據(jù)庫封裝實(shí)現(xiàn)代碼示例解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09
python進(jìn)程和線程用法知識(shí)點(diǎn)總結(jié)
在本篇文章里小編給大家整理了關(guān)于python進(jìn)程和線程用法以及相關(guān)實(shí)例內(nèi)容,需要的朋友們跟著學(xué)習(xí)下。2019-05-05
python?函數(shù)定位參數(shù)+關(guān)鍵字參數(shù)+inspect模塊
這篇文章主要介紹了python?函數(shù)定位參數(shù)+關(guān)鍵字參數(shù)+inspect模塊,文章圍繞主題展開詳細(xì)的相關(guān)資料,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-05-05

