快捷導(dǎo)航

Python中使用MELIAE分析程序內(nèi)存占用實(shí)例

更新時(shí)間：2015年02月18日 15:51:25 投稿：junjie

這篇文章主要介紹了Python中使用MELIAE分析程序內(nèi)存占用實(shí)例,本文直接給出使用代碼示例,需要的朋友可以參考下

寫的dht協(xié)議搜索的程序，這幾天優(yōu)化了一下發(fā)現(xiàn)速度確實(shí)快了好多。但是出現(xiàn)了一個(gè)新的問題，內(nèi)存直接飆升，我開了十個(gè)爬蟲占用內(nèi)存800m。開始我以為是節(jié)點(diǎn)太多了，找了幾個(gè)小問題修改一下，發(fā)現(xiàn)沒用。后來(lái)就到網(wǎng)上查找python內(nèi)存分析的工具，查了一點(diǎn)資料發(fā)現(xiàn)python有個(gè)meliae庫(kù)操作非常方便，就使用分析了一下，發(fā)現(xiàn)不是節(jié)點(diǎn)太多的原因0 0,是保存發(fā)送的t_id，用來(lái)標(biāo)示返回的消息是那個(gè)發(fā)出的一個(gè)字典過(guò)大了。

從分析的結(jié)果非常容易的定位了某個(gè)對(duì)象的數(shù)量和大小，非常容易分析。我開始以為是因?yàn)楹枚喟l(fā)送查詢信息以后，對(duì)面沒返回造成這個(gè)字典里的元素沒有釋放造成的，我就用過(guò)期時(shí)間判斷了一下，進(jìn)行過(guò)期刪除。發(fā)現(xiàn)是小了，但是不是非常顯著，好像少了幾十不到100M。后來(lái)又減少了查找一個(gè)隨機(jī)hash的時(shí)間，以前是1分鐘查一次，我改成了就第一次查！，發(fā)現(xiàn)沒減少0 0.不知道是啥的原因。應(yīng)該就是查找hash，詢問節(jié)點(diǎn)，然后返回然后詢問里邊的節(jié)點(diǎn)，最后數(shù)量越來(lái)越多，但是我不明白的是，怎么會(huì)這么多運(yùn)行一分鐘就有60萬(wàn)條。也就是說(shuō)當(dāng)時(shí)內(nèi)存沒釋放的對(duì)象就有這么多。達(dá)到這個(gè)內(nèi)存占用后，基本就不再變化，有很小很慢的提升，因?yàn)檫€開的其他程序，不確定是不是這些程序其他對(duì)象的增加造成的。等分階段dump測(cè)試一下。

安裝直接pip install meliae 就ok了，我看好久沒更新的項(xiàng)目了，不知道還有沒有好的替代品不過(guò)用著還不錯(cuò)。

將內(nèi)存dump到文件

復(fù)制代碼代碼如下:

 from meliae import scanner

 scanner.dump_all_objects('/tmp/dump%s.txt' % time.time())

分析文件：

復(fù)制代碼代碼如下:

 from meliae import loader

 #加載dump文件

 om = loader.load('/opt/log/dump.txt')

 #計(jì)算各Objects的引用關(guān)系

 om.compute_parents()

 #去掉各對(duì)象Instance的_dict_屬性

 om.collapse_instance_dicts()

 #分析內(nèi)存占用情況

 om.summarize()

字段意義如下：
Index : 行索引號(hào)
Count : 該類型的對(duì)象總數(shù)
%(Count) : 該類型的對(duì)象總數(shù) 占所有類型的對(duì)象總數(shù) 的百分比
Size : 該類型的對(duì)象總字節(jié)數(shù)
%(Size) : 該類型的對(duì)象總字節(jié)數(shù) 占所有類型的對(duì)象總字節(jié)數(shù) 的百分比
Cum : 累積行索引后的%(Size)
Max : 該類型的對(duì)象中，最大者的字節(jié)數(shù)
Kind : 類型

分析某個(gè)對(duì)象，找出它的引用關(guān)系

復(fù)制代碼代碼如下:

 #得到所有的POP3ClientProtocol對(duì)象

 p = om.get_all('POP3ClientProtocol')

 #查看第一個(gè)對(duì)象

 p[0]

 #可以查看該對(duì)象的所有引用

 p[0].c

 #查看誰(shuí)引用了這個(gè)對(duì)象

 p[0].p

您可能感興趣的文章: