快捷導(dǎo)航

Python多進(jìn)程multiprocessing、進(jìn)程池用法實(shí)例分析

更新時(shí)間：2020年03月24日 11:08:04 作者：隨風(fēng)行云

這篇文章主要介紹了Python多進(jìn)程multiprocessing、進(jìn)程池用法,結(jié)合實(shí)例形式分析了Python多進(jìn)程multiprocessing、進(jìn)程池相關(guān)概念、原理、用法及操作注意事項(xiàng),需要的朋友可以參考下

本文實(shí)例講述了Python多進(jìn)程multiprocessing、進(jìn)程池用法。分享給大家供大家參考，具體如下：

內(nèi)容相關(guān)：

multiprocessing：

進(jìn)程的創(chuàng)建與運(yùn)行
進(jìn)程常用相關(guān)函數(shù)

進(jìn)程池：

為什么要有進(jìn)程池
進(jìn)程池的創(chuàng)建與運(yùn)行：串行、并行
回調(diào)函數(shù)

多進(jìn)程multiprocessing:

python中的多進(jìn)程需要使用multiprocessing模塊

多進(jìn)程的創(chuàng)建與運(yùn)行：

1.進(jìn)程的創(chuàng)建：進(jìn)程對(duì)象=multiprocessing.Process(target=函數(shù)名,args=(參數(shù),))【補(bǔ)充，由于args是一個(gè)元組，單個(gè)參數(shù)時(shí)要加“,”】

2.進(jìn)程的運(yùn)行: 進(jìn)程對(duì)象.start()

進(jìn)程的join跟線程的join一樣，意義是 “阻塞當(dāng)前進(jìn)程，直到調(diào)用join方法的那個(gè)進(jìn)程執(zhí)行完，再繼續(xù)執(zhí)行當(dāng)前進(jìn)程”

注：在windows中代碼中必須使用這個(gè)，在Linux 中不需要加這個(gè)

import multiprocessing,time,os

def thread_run():
  print(threading.current_thread())

def run(name):
  time.sleep(1)
  print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())

if __name__=='__main__':#必須加
  obj=[]
  for i in range(10):
    p=multiprocessing.Process(target=run,args=('bob',))
    obj.append(p)
    p.start()
  start_time=time.time()
  for i in obj:
    i.join()
  print("run in main")
  print("spend time :",time.time()-start_time)

與多線程同樣的：也可以通過(guò)繼承multiprocessing的Process來(lái)創(chuàng)建進(jìn)程

繼承multiprocessing的Process類(lèi)的類(lèi)要主要做兩件事：

1.如果初始化自己的變量，則先要調(diào)用父類(lèi)的__init__()【如果不調(diào)用，則要自己填寫(xiě)相關(guān)的參數(shù)，麻煩！】然后做自己的初始化;如果不需要初始化自己的變量，那么不需要重寫(xiě)__init__,直接使用父類(lèi)的__init__即可【已經(jīng)繼承了】

2.重寫(xiě)run函數(shù)

import multiprocessing

class myProcess(multiprocessing.Process):
  def run(self):
    print("run in myProcess")

if __name__=="__main__":
  p=myProcess()
  p.start()
  p.join()

進(jìn)程常用相關(guān)函數(shù)：

os.getpid():獲取當(dāng)前進(jìn)程號(hào)。
os.getppid():獲取當(dāng)前進(jìn)程的父進(jìn)程號(hào)。
進(jìn)程對(duì)象.is_alive():判斷進(jìn)程是否存活

進(jìn)程對(duì)象.terminate():結(jié)束進(jìn)程【不建議的方法，現(xiàn)實(shí)少用】

進(jìn)程池：

為什么需要進(jìn)程池
- 如果要啟動(dòng)大量的子進(jìn)程，可以用進(jìn)程池的方式批量創(chuàng)建子進(jìn)程，而進(jìn)程池可以限制運(yùn)行的進(jìn)程的數(shù)量【有太多人想要游泳，而池子的容量決定了游泳的人的數(shù)量
- Pool類(lèi)可以提供指定數(shù)量的進(jìn)程供用戶調(diào)用，當(dāng)有新的請(qǐng)求提交到Pool中時(shí)，如果池還沒(méi)有滿，就會(huì)創(chuàng)建一個(gè)新的進(jìn)程來(lái)執(zhí)行請(qǐng)求。如果進(jìn)程池滿了，請(qǐng)求就會(huì)告知先等待，直到池中有進(jìn)程結(jié)束，才會(huì)創(chuàng)建新的進(jìn)程來(lái)執(zhí)行這些請(qǐng)求

進(jìn)程池的創(chuàng)建與使用：
- 使用進(jìn)程池需要導(dǎo)入：from multiprocessing import Pool
- 創(chuàng)建進(jìn)程池：進(jìn)程池對(duì)象=Pool(容量)
- 給進(jìn)程池添加進(jìn)程：
  - 串行：進(jìn)程池對(duì)象.apply(func=函數(shù)名,args=(參數(shù),))

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply(func=func1,args=(i,))#串行,這里是加一個(gè)運(yùn)行完再加一個(gè)
   pool.close()#先close再等待
   pool.join()
  print("main run done,spend_time:",time.time()-start_time)

并行：進(jìn)程池對(duì)象.apply_async(func=函數(shù)名,args=(參數(shù),),callback=回調(diào)函數(shù))

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())


if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,))#并行
    
  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)#2.6，證明是并行

回調(diào)函數(shù)的使用：在并行中，支持callback=回調(diào)函數(shù)，當(dāng)一個(gè)進(jìn)程執(zhí)行完畢后會(huì)調(diào)用該回調(diào)函數(shù)，并且參數(shù)為func中的返回值
注意：回調(diào)函數(shù)是在父進(jìn)程中執(zhí)行的！【當(dāng)兒子執(zhí)行完后，會(huì)在父親里調(diào)用函數(shù)】

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())
  return "filename"


def log(arg):##參數(shù)為進(jìn)程創(chuàng)建中func的函數(shù)的返回值
  print("log done :",arg)

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,),callback=log,)#log的參數(shù)是func1的返回值

  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)

注：對(duì)Pool對(duì)象調(diào)用join()方法會(huì)等待所有子進(jìn)程執(zhí)行完畢，調(diào)用join()之前必須先調(diào)用close()，調(diào)用close()之后就不能繼續(xù)添加新的Process了?！疽馑季褪潜热缬斡境刂毁u(mài)1個(gè)小時(shí)的票，約定5點(diǎn)關(guān)門(mén)，那么4點(diǎn)多之后就不能再賣(mài)票了，就一直等著游泳池里面的人出來(lái)再關(guān)門(mén)，進(jìn)程池的close是一個(gè)關(guān)門(mén)的意思，并不是結(jié)束的意思，它只是關(guān)上了進(jìn)來(lái)的門(mén)，而里面的進(jìn)程還可以運(yùn)行】【進(jìn)程池的join是等池子里的所有進(jìn)程執(zhí)行完畢，如果后面再進(jìn)來(lái)進(jìn)程的話就沒(méi)完沒(méi)了了，所以需要先關(guān)閉進(jìn)入，再等待進(jìn)程結(jié)束】
- - 小測(cè)試：