python內(nèi)存占用過(guò)多問(wèn)題以及其解決方案
1、問(wèn)題背景
近期,一位 Python 開(kāi)發(fā)者遇到了一個(gè)棘手的問(wèn)題,他在開(kāi)發(fā)過(guò)程中編寫(xiě)了一個(gè)能夠窮舉生成具有一定特征的矩陣的遞歸函數(shù)。然而,這個(gè)函數(shù)在運(yùn)行時(shí)會(huì)占用過(guò)多的內(nèi)存,導(dǎo)致服務(wù)器內(nèi)存不足而被終止。
2、解決方案
為解決以上問(wèn)題,該開(kāi)發(fā)者嘗試了以下方法:
(1)避免矩陣副本的內(nèi)存引用。
在 heavies() 函數(shù)中,每次生成的矩陣都會(huì)被復(fù)制一份副本,然后繼續(xù)生成更多的矩陣。這種方式會(huì)導(dǎo)致大量的副本占據(jù)內(nèi)存,從而導(dǎo)致內(nèi)存占用過(guò)高。為了解決這個(gè)問(wèn)題,可以在函數(shù)中使用一種叫做“生成器”(generator)的特殊函數(shù)類(lèi)型。生成器可以生成一組值,但只在需要時(shí)才計(jì)算這些值。這樣就可以避免生成大量的副本,從而減少內(nèi)存占用。
import numpy as np
def heavies(row_sums, col_sums, col_index, mat_h):
if col_index == len(col_sums) - 1:
for stuff in heavy_col_permutations(row_sums, col_sums, col_index):
mat_h[:, col_index] = stuff[0]
yield mat_h.copy()
return
for stuff in heavy_col_permutations(row_sums, col_sums, col_index):
mat_h[:, col_index] = stuff[0]
row_sums = stuff[1]
yield from heavies(row_sums, col_sums, col_index+1, mat_h)
def heavy_col_permutations(row_sums, col_sums, col_index):
# 返回所需特征的矩陣的一列
pass
if __name__ == "__main__":
r = int(argv[1])
n = int(argv[2])
m = np.zeros((r, r), np.dtype=int32)
for row, col in heavy_listing(r, n):
for matrix in heavies(row, col, 0, m):
# 對(duì)矩陣執(zhí)行其他操作
(2)調(diào)整垃圾回收器(GC)的閾值。
Python 具有垃圾回收器(GC),負(fù)責(zé)回收不再被引用的對(duì)象所占用的內(nèi)存空間。調(diào)整 GC 的閾值,可以使 GC 更頻繁地回收內(nèi)存,從而減少內(nèi)存占用。
import gc # 設(shè)置內(nèi)存回收閾值(單位:字節(jié)) # http://jshk.com.cn/mb/reg.asp?kefu=zhangyajie gc.set_threshold(100 * 1024 * 1024) # 調(diào)用垃圾回收器,釋放內(nèi)存 gc.collect()
(3)將遞歸函數(shù)重寫(xiě)為迭代函數(shù)。
遞歸函數(shù)在調(diào)用時(shí)會(huì)創(chuàng)建新的函數(shù)棧幀,如果遞歸深度過(guò)大,就會(huì)導(dǎo)致棧溢出。將遞歸函數(shù)重寫(xiě)為迭代函數(shù)可以避免棧溢出,從而減少內(nèi)存占用。
def heavies_iterative(row_sums, col_sums):
stack = [(row_sums, col_sums, 0, np.zeros((len(row_sums), len(col_sums)), np.dtype=int32))]
while stack:
row_sums, col_sums, col_index, mat_h = stack.pop()
if col_index == len(col_sums) - 1:
for stuff in heavy_col_permutations(row_sums, col_sums, col_index):
mat_h[:, col_index] = stuff[0]
yield mat_h.copy()
continue
for stuff in heavy_col_permutations(row_sums, col_sums, col_index):
mat_h[:, col_index] = stuff[0]
new_row_sums = stuff[1]
stack.append((new_row_sums, col_sums, col_index+1, mat_h))
if __name__ == "__main__":
r = int(argv[1])
n = int(argv[2])
for matrix in heavies_iterative([r] * r, [n] * r):
# 對(duì)矩陣執(zhí)行其他操作
經(jīng)過(guò)以上優(yōu)化后,該開(kāi)發(fā)者成功解決了內(nèi)存占用過(guò)高的
總結(jié)
到此這篇關(guān)于python內(nèi)存占用過(guò)多問(wèn)題以及其解決方案的文章就介紹到這了,更多相關(guān)python內(nèi)存占用過(guò)多內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python腳本開(kāi)機(jī)自啟的實(shí)現(xiàn)方法
今天小編就為大家分享一篇python腳本開(kāi)機(jī)自啟的實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
Python并行計(jì)算庫(kù)Joblib高效使用指北
Joblib是用于高效并行計(jì)算的Python開(kāi)源庫(kù),其提供了簡(jiǎn)單易用的內(nèi)存映射和并行計(jì)算的工具,以將任務(wù)分發(fā)到多個(gè)工作進(jìn)程中,這篇文章主要介紹了Python并行計(jì)算庫(kù)Joblib使用指北,需要的朋友可以參考下2024-08-08
pandas將numpy數(shù)組寫(xiě)入到csv的實(shí)例
今天小編就為大家分享一篇pandas將numpy數(shù)組寫(xiě)入到csv的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
python3.5 + PyQt5 +Eric6 實(shí)現(xiàn)的一個(gè)計(jì)算器代碼
這篇文章主要介紹了python3.5 + PyQt5 +Eric6 實(shí)現(xiàn)的一個(gè)計(jì)算器代碼,在windows7 32位系統(tǒng)可以完美運(yùn)行 計(jì)算器,有興趣的可以了解一下。2017-03-03
Pandas DataFrame 篩選數(shù)據(jù)幾種方法實(shí)現(xiàn)
本文介紹了四種在DataFrame中篩選數(shù)據(jù)的方法:根據(jù)字段、標(biāo)簽、位置、布爾索引和通過(guò)query進(jìn)行篩選,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-12-12
Python簡(jiǎn)單的制作圖片驗(yàn)證碼實(shí)例
本篇文章主要介紹了Python簡(jiǎn)單的制作圖片驗(yàn)證碼實(shí)例,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-05-05

