python內(nèi)存管理分析
本文較為詳細(xì)的分析了python內(nèi)存管理機(jī)制。分享給大家供大家參考。具體分析如下：
內(nèi)存管理，對(duì)于Python這樣的動(dòng)態(tài)語言，是至關(guān)重要的一部分，它在很大程度上甚至決定了Python的執(zhí)行效率，因?yàn)樵赑ython的運(yùn)行中，會(huì)創(chuàng)建和銷毀大量的對(duì)象，這些都涉及到內(nèi)存的管理。
小塊空間的內(nèi)存池
在Python中，許多時(shí)候申請(qǐng)的內(nèi)存都是小塊的內(nèi)存，這些小塊內(nèi)存在申請(qǐng)后，很快又會(huì)被釋放，由于這些內(nèi)存的申請(qǐng)并不是為了創(chuàng)建對(duì)象，所以并沒有對(duì)象一級(jí)的內(nèi)存池機(jī)制。
Python內(nèi)存池全景
這就意味著Python在運(yùn)行期間會(huì)大量地執(zhí)行malloc和free的操作，頻繁地在用戶態(tài)和核心態(tài)之間進(jìn)行切換，這將嚴(yán)重影響Python的執(zhí)行效率。為了加速Python的執(zhí)行效率，Python引入了一個(gè)內(nèi)存池機(jī)制，用于管理對(duì)小塊內(nèi)存的申請(qǐng)和釋放。這也就是之前提到的Pymalloc機(jī)制。
在Python 2.5中，Python內(nèi)部默認(rèn)的小塊內(nèi)存與大塊內(nèi)存的分界點(diǎn)定在256個(gè)字節(jié)，這個(gè)分界點(diǎn)由前面我們看到的名為SMALL_REQUEST_THRESHOLD的符號(hào)控制。
也就是說，當(dāng)申請(qǐng)的內(nèi)存小于256字節(jié)時(shí)，PyObject_Malloc會(huì)在內(nèi)存池中申請(qǐng)內(nèi)存；當(dāng)申請(qǐng)的內(nèi)存大于256字節(jié)時(shí)，PyObject_Malloc的行為將蛻化為malloc的行為。當(dāng)然，通過修改Python源代碼，我們可以改變這個(gè)默認(rèn)值，從而改變Python的默認(rèn)內(nèi)存管理行為。
在一個(gè)對(duì)象的引用計(jì)數(shù)減為0時(shí)，與該對(duì)象對(duì)應(yīng)的析構(gòu)函數(shù)就會(huì)被調(diào)用。
但是要特別注意的是，調(diào)用析構(gòu)函數(shù)并不意味著最終一定會(huì)調(diào)用free釋放內(nèi)存空間，如果真是這樣的話，那頻繁地申請(qǐng)、釋放內(nèi)存空間會(huì)使 Python的執(zhí)行效率大打折扣（更何況Python已經(jīng)多年背負(fù)了人們對(duì)其執(zhí)行效率的不滿）。一般來說，Python中大量采用了內(nèi)存對(duì)象池的技術(shù)，使用這種技術(shù)可以避免頻繁地申請(qǐng)和釋放內(nèi)存空間。因此在析構(gòu)時(shí)，通常都是將對(duì)象占用的空間歸還到內(nèi)存池中。
"這個(gè)問題就是:Python的arena從來不釋放pool。這個(gè)問題為什么會(huì)引起類似于內(nèi)存泄漏的現(xiàn)象呢?？紤]這樣一種情形，申請(qǐng)10*1024*1024個(gè)16字節(jié)的小內(nèi)存，這就意味著必須使用160M的內(nèi)存，由于Python沒有默認(rèn)將前面提到的限制內(nèi)存池的WITH_MEMORY_LIMITS編譯符號(hào)打開，所以Python會(huì)完全使用arena來滿足你的需求，這都沒有問題，關(guān)鍵的問題在于過了一段時(shí)間，你將所有這些16字節(jié)的內(nèi)存都釋放了，這些內(nèi)存都回到arena的控制中，似乎沒有問題。
但是問題恰恰就在這時(shí)出現(xiàn)了。因?yàn)閍rena始終不會(huì)釋放它維護(hù)的pool集合，所以這160M的內(nèi)存始終被Python占用，如果以后程序運(yùn)行中再也不需要160M如此巨大的內(nèi)存，這點(diǎn)內(nèi)存豈不是就浪費(fèi)了？"
Python內(nèi)存管理規(guī)則：del的時(shí)候,把list的元素釋放掉,把管理元素的大對(duì)象回收到py對(duì)象緩沖池里。
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
python程序調(diào)用遠(yuǎn)程服務(wù)的步驟詳解
這篇文章主要介紹了python程序調(diào)用遠(yuǎn)程服務(wù)的步驟詳解，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2021-03-03
python使用gdal對(duì)shp讀取,新建和更新的實(shí)例
這篇文章主要介紹了python使用gdal對(duì)shp讀取,新建和更新的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03
這篇文章主要介紹了python中的metaclass詳情，在python中的metaclass就是幫助developer實(shí)現(xiàn)元編程，更多詳細(xì)內(nèi)容需要的小伙伴可以參考一下2022-05-05
Python實(shí)現(xiàn)的簡(jiǎn)單dns查詢功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的簡(jiǎn)單dns查詢功能,結(jié)合實(shí)例形式分析了Python基于socket模塊的dns信息查詢實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-05-05
PyCharm使用教程之搭建Python開發(fā)環(huán)境
由于python的跨平臺(tái)性。在windows下和ubuntu下基本上沒什么差別。下面從幾個(gè)不步驟來搭建開發(fā)環(huán)境。2016-06-06
python實(shí)現(xiàn)隨機(jī)梯度下降（SGD）
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)隨機(jī)梯度下降SGD，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-12-12
Pythonic版二分查找實(shí)現(xiàn)過程原理解析
這篇文章主要介紹了Pythonic版二分查找實(shí)現(xiàn)過程原理解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
Click 是 Flask 的開發(fā)團(tuán)隊(duì) Pallets 的另一款開源項(xiàng)目，它是用于快速創(chuàng)建命令行的第三方模塊，這篇文章主要介紹了python怎么添加命令行參數(shù),需要的朋友可以參考下2023-06-06
這篇文章主要介紹了python寫入中英文字符串到文件的方法,實(shí)例分析了Python操作中英文字符串的技巧,非常簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-05-05
Python3+Requests+Excel完整接口自動(dòng)化測(cè)試框架的實(shí)現(xiàn)
這篇文章主要介紹了Python3+Requests+Excel完整接口自動(dòng)化測(cè)試框架的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10