快捷導(dǎo)航

python多進程中的內(nèi)存復(fù)制(實例講解)

更新時間：2018年01月05日 14:40:50 作者：pushiqiang

下面小編就為大家分享一篇python多進程中的內(nèi)存復(fù)制(實例講解)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

比較好奇python對于多進程中copy on write機制的實際使用情況。目前從實驗結(jié)果來看，python 使用multiprocessing來創(chuàng)建多進程時，無論數(shù)據(jù)是否不會被更改，子進程都會復(fù)制父進程的狀態(tài)(內(nèi)存空間數(shù)據(jù)等)。所以如果主進程耗的資源較多時，不小心就會造成不必要的大量的內(nèi)存復(fù)制，從而可能導(dǎo)致內(nèi)存爆滿的情況。

示例

舉個例子，假設(shè)主進程讀取了一個大文件對象的所有行，然后通過multiprocessing創(chuàng)建工作進程，并循環(huán)地將每一行數(shù)據(jù)交給工作進程來處理：

def parse_lines(args):
 #working
 ...
def main_logic():
 f = open(filename , 'r')
 lines = f.readlines()
 f.close()
 pool = multiprocessing.Pool(processes==4)
 rel = pool.map(parse_lines , itertools.izip(lines , itertools.repeat(second_args)) , int(len(lines)/4))
 pool.close()
 pool.join()

以下是top及ps結(jié)果：

(四個子進程)

(父進程及四個子進程)

由上兩張圖可以看出父進程及子進程都各自占用了1.4G左右的內(nèi)存空間。而大部分內(nèi)存空間存儲的是讀數(shù)據(jù)lines，所以這樣的內(nèi)存開銷太浪費。

優(yōu)化計劃

1: 在主進程初期未導(dǎo)入大量的py庫之前創(chuàng)建進程，或者動態(tài)加載py庫。

2:通過內(nèi)存共享來減少內(nèi)存的開銷。

3: 主進程不再讀取文件對象，交給每個工作進程去讀取文件中的相應(yīng)部分。

改進代碼：

def line_count(file_name):
 count = -1 #讓空文件的行號顯示0
 for count,line in enumerate(open(file_name)): pass
 #enumerate格式化成了元組,count就是行號,因為從0開始要+1
 return count+1
def parse_lines(args):
 f = open(args[0] , 'r')
 lines = f.readlines()[args[1]:args[2]] #read some lines
 f.close() 
 #working
def main_logic(filename,process_num):
 line_count = line_count(filename)
 avg_len = int(line_count/process_num)
 left_cnt = line_count%process_num;
 pool = multiprocessing.Pool(processes=process_num)
 for i in xrange(0,process_num):
  ext_cnt = (i>=process_num-1 and [left_cnt] or [0])[0]
  st_line = i*avg_len
  pool.apply_async(parse_lines, ((filename, st_line, st_line+avg_len+ext_cnt),)) #指定進程讀某幾行數(shù)據(jù)
 pool.close()
 pool.join()

再次用top或者ps來查看進程的內(nèi)存使用情況：