Python Multiprocessing多進(jìn)程 使用tqdm顯示進(jìn)度條的實(shí)現(xiàn)
1.背景
在python運(yùn)行一些，計(jì)算復(fù)雜度比較高的函數(shù)時(shí)，服務(wù)器端單核CPU的情況比較耗時(shí)，因此需要多CPU使用多進(jìn)程加快速度
2.函數(shù)要求
筆者使用的是：pathos.multiprocessing 庫，進(jìn)度條顯示用tqdm庫，安裝方法：
pip install pathos
安裝完成后
from pathos.multiprocessing import ProcessingPool as Pool from tqdm import tqdm
這邊使用pathos的原因是因?yàn)?，multiprocessing 庫中的Pool 函數(shù)只支持單參數(shù)輸入，例如 f(x) = x**2，而不能處理 f (x,y) = x+y 這類的函數(shù)
更不用說一些需要參數(shù)的函數(shù) 例如：F(x , alpha=0.5, gamma = 0.1) 這樣。
3.代碼
定義一個(gè) 函數(shù) F [ X ] ,其中，輸入X是可以在第一個(gè)維度上迭代的array, 大小：[ num_X, len ] , 在第一維度 num_X 上進(jìn)行迭代。
def F(X,lamda=10,weight=0.05):
res={}
res.update(F_1(X,lamda=lamda,weight=weight))
res.update(F_2(X,lamda=lamda,weight=weight))
return res
x 是 F 的輸出，是一個(gè)dict (字典格式)
這里的兩個(gè)函數(shù)超參數(shù) lamda 和 weight 雖然每次調(diào)用的時(shí)候值是一樣的，但是還是需要放一個(gè)數(shù)組每次用于迭代。
zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
X[i,:] = [x[key] for key in x.keys()]
Y[i,] = 0
t.update()
pool.close()
pool.join()
4.結(jié)果
mutiprocess 加速前
mutiprocess 加速后
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python GUI庫圖形界面開發(fā)之PyQt5線程類QThread詳細(xì)使用方法
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5線程QThread類詳細(xì)使用方法,需要的朋友可以參考下2020-02-02
Python搭建代理IP池實(shí)現(xiàn)存儲IP的方法
這篇文章主要介紹了Python搭建代理IP池實(shí)現(xiàn)存儲IP的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
python利用ddddocr包ocr識別圖片碼的實(shí)現(xiàn)
ddddocr是一個(gè)輕量級的OCR庫,用于識別圖片中的文字和驗(yàn)證碼,本文主要介紹了python利用ddddocr包ocr識別圖片碼的實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2025-01-01
詳解PyQt5中textBrowser顯示print語句輸出的簡單方法
這篇文章主要介紹了詳解PyQt5中textBrowser顯示print語句輸出的簡單方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
這篇文章主要介紹了python滲透測試linux密碼激活的相關(guān)知識，通過一個(gè)crypt的示例給大家介紹的非常詳細(xì)，對大家學(xué)習(xí)python滲透知識有很大的幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了python Scrapy爬蟲框架的使用，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
本篇文章給大家分享了關(guān)于python中sys.argv函數(shù)的相關(guān)知識點(diǎn)，有興趣的朋友可以參考學(xué)習(xí)下。2018-07-07
這篇文章主要給大家介紹了關(guān)于Python判斷回文數(shù)的三種方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Python爬蟲_城市公交、地鐵站點(diǎn)和線路數(shù)據(jù)采集實(shí)例
下面小編就為大家分享一篇Python爬蟲_城市公交、地鐵站點(diǎn)和線路數(shù)據(jù)采集實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-01-01
Python中私有屬性“_“下劃線和“__“雙下劃線區(qū)別
本文主要介紹了Python中私有屬性“_“下劃線和“__“雙下劃線區(qū)別，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03