Python多進(jìn)程協(xié)作模擬實(shí)現(xiàn)流程
由于python多線程無(wú)法發(fā)揮多核的作用，因此當(dāng)計(jì)算量很大的時(shí)候就需要考慮多進(jìn)程。
只不過(guò)多進(jìn)程比較麻煩一些，進(jìn)程中通信向來(lái)是一件麻煩事。
python提供了multiprocessing 模塊，應(yīng)該會(huì)提供不少便利
假設(shè)我們做量化交易需要運(yùn)行一個(gè)算法，針對(duì)一只票每運(yùn)行一次需要30秒，運(yùn)行完成將結(jié)果作為一個(gè)因子交給另一個(gè)計(jì)算模塊運(yùn)行，最后將計(jì)算結(jié)果統(tǒng)計(jì)出來(lái)。如果只運(yùn)行一只票問(wèn)題不大，大不了等一下就好，同時(shí)運(yùn)行10票的話就很有必然考慮多進(jìn)程以加快速度。
pro_queue為生產(chǎn)進(jìn)程的數(shù)據(jù)隊(duì)列，生產(chǎn)進(jìn)程完成生產(chǎn)后將自己相關(guān)數(shù)據(jù)裝產(chǎn)pro_queue中
calc_queue為計(jì)算進(jìn)程的數(shù)據(jù)隊(duì)列，計(jì)算進(jìn)程先將生產(chǎn)進(jìn)程的數(shù)據(jù)通過(guò)參數(shù)傳遞的方式獲取到，然后進(jìn)行計(jì)算，并將計(jì)算結(jié)果存入calc_queue中
主進(jìn)程在最后不斷獲取計(jì)算進(jìn)程的計(jì)算結(jié)果，并將其累加，最終獲取到一個(gè)總的計(jì)算結(jié)果
生產(chǎn)進(jìn)程：
def func_a(i, p: queues):
print(F"第{i}個(gè)生產(chǎn)進(jìn)程: 進(jìn)程號(hào):{os.getpid()},開(kāi)始...")
time.sleep(random.randint(1, 5))
result = random.randint(50, 100)
print(F"第{i}個(gè)生產(chǎn)進(jìn)程: 完成。生產(chǎn)結(jié)果[{result}]。")
p.put((i, os.getpid(), result))計(jì)算進(jìn)程：
def func_b(i, data, q: queues):
print(F"第{i}個(gè)計(jì)算進(jìn)程: 進(jìn)程號(hào):{os.getpid()}, 數(shù)據(jù)源{data[0]}:{data[1]}:{data[2]},開(kāi)始...")
time.sleep(random.randint(1, 3))
result = data[2] * 100
print(F"第{i}個(gè)計(jì)算進(jìn)程: 完成。計(jì)算結(jié)果【{result}】")
q.put(result)程序一開(kāi)始先將生產(chǎn)進(jìn)程啟動(dòng)起來(lái)：其中process_num表示同時(shí)啟動(dòng)多少個(gè)生產(chǎn)進(jìn)程
for i in range(process_num):
p = Process(target=func_a, args=(i, pro_queue,))
p.start()然后不停等待生產(chǎn)進(jìn)程的結(jié)果，每等到一個(gè)結(jié)果就啟動(dòng)一個(gè)計(jì)算進(jìn)程
for i in range(process_num):
data = pro_queue.get()
p = Process(target=func_b, args=(i, data, calc_queue))
p.start()最后就是等待計(jì)算進(jìn)程的計(jì)算結(jié)果
s = 0
for i in range(process_num):
s += calc_queue.get()
print(F"所有計(jì)算完成，總結(jié)果：{s}")補(bǔ)上程序一開(kāi)始的兩個(gè)隊(duì)列的申明：
import multiprocessing
import time
from multiprocessing import Process
from multiprocessing import queues
import random
import os
pro_queue = queues.Queue(ctx=multiprocessing)
calc_queue = queues.Queue(ctx=multiprocessing)
process_num = 5到此這篇關(guān)于Python多進(jìn)程協(xié)作模擬實(shí)現(xiàn)流程的文章就介紹到這了,更多相關(guān)Python多進(jìn)程協(xié)作內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
復(fù)習(xí)Python中的字符串知識(shí)點(diǎn)
這篇文章主要介紹了Python中字符串的一些知識(shí)點(diǎn),來(lái)自于IBM官方網(wǎng)站技術(shù)文檔,需要的朋友可以參考下2015-04-04
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)AES加密與解密，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-03-03
在Python中使用MySQL--PyMySQL的基本使用方法
PyMySQL 是在 Python3.x 版本中用于連接 MySQL 服務(wù)器的一個(gè)庫(kù)，Python2中則使用mysqldb。這篇文章主要介紹了在Python中使用MySQL--PyMySQL的基本使用,需要的朋友可以參考下2019-11-11
python數(shù)據(jù)分析基礎(chǔ)之pandas中l(wèi)oc()與iloc()的介紹與區(qū)別介紹
我們經(jīng)常在尋找數(shù)據(jù)的某行或者某列的時(shí)常用到Pandas中的兩種方法iloc和loc,兩種方法都接收兩個(gè)參數(shù),第一個(gè)參數(shù)是行的范圍,第二個(gè)參數(shù)是列的范圍,這篇文章主要介紹了python數(shù)據(jù)分析基礎(chǔ)之pandas中l(wèi)oc()與iloc()的介紹與區(qū)別,需要的朋友可以參考下2024-07-07
今天小編就為大家分享一篇Pytorch之contiguous的用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
在Python中獲取操作系統(tǒng)的進(jìn)程信息
今天小編就為大家分享一篇在Python中獲取操作系統(tǒng)的進(jìn)程信息，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
Python Joblib庫(kù)使用方法案例總結(jié)
Python Dataframe 指定多列去重、求差集的方法
