python使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的示例代碼
更新時(shí)間：2023年09月11日 11:20:04 作者：DexterLien
這篇文章主要介紹了使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的示例代碼,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
示例代碼
import multiprocessing
def process_data(data):
# 這里是處理單個(gè)數(shù)據(jù)的過(guò)程
return data * 2
# 待處理的數(shù)據(jù)
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通處理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多進(jìn)程處理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 創(chuàng)建進(jìn)程池, 傳入的參數(shù)是要要使用的 CPU 內(nèi)核數(shù)量, 直接用 cpu_count() 可以拿到當(dāng)前硬件配置所有的 CPU 內(nèi)核數(shù).
pool.map 可以直接將處理后的結(jié)果拼接成一個(gè) list 對(duì)象
應(yīng)用在實(shí)際數(shù)據(jù)處理代碼的效果對(duì)比:
普通處理方式, 用時(shí) 221 秒
多進(jìn)程處理方式, 用時(shí) 39 秒, 節(jié)省了 82% 的時(shí)間
到此這篇關(guān)于使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的文章就介紹到這了,更多相關(guān) multiprocessing 多進(jìn)程處理批量數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python3操作讀寫(xiě)CSV文件使用包過(guò)程解析
這篇文章主要介紹了Python3操作CSV文件使用包過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
PyQt5基本控件使用之消息彈出、用戶(hù)輸入、文件對(duì)話(huà)框的使用方法
本文主要介紹PyQt界面實(shí)現(xiàn)中常用的消息彈出對(duì)話(huà)框、提供用戶(hù)輸入的輸入框、打開(kāi)文件獲取文件/目錄路徑的文件對(duì)話(huà)框。 本文主要針對(duì)這三種控件的主要場(chǎng)景進(jìn)行介紹。感興趣的朋友跟隨小編一起看看吧2019-08-08
在日常辦公中,處理Word、Excel和PDF等Office文檔是再常見(jiàn)不過(guò)的任務(wù),手動(dòng)操作這些文檔不僅耗時(shí)耗力,還容易出錯(cuò),幸運(yùn)的是,Python提供了豐富的庫(kù),使得自動(dòng)化處理這些文檔變得輕松高效,本文將通過(guò)通俗易懂的表達(dá)方式,帶你領(lǐng)略Python自動(dòng)化Office文檔處理的魅力2025-02-02
這篇文章主要介紹了python代碼xml轉(zhuǎn)txt實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
keras中epoch,batch,loss,val_loss用法說(shuō)明
這篇文章主要介紹了keras中epoch,batch,loss,val_loss用法說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07
如何用python獲取到照片拍攝時(shí)的詳細(xì)位置(附源碼)
其實(shí)我們平時(shí)拍攝的照片里,隱藏了大量的信息,下面這篇文章主要給大家介紹了關(guān)于如何用python獲取到照片拍攝時(shí)的詳細(xì)位置,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12
這篇文章主要介紹了基于Pytorch的可視化工具,Pytorch是一款Python優(yōu)先的深度學(xué)習(xí)框架,需要的朋友可以參考下2023-04-04
利用Python計(jì)算質(zhì)數(shù)與完全數(shù)的方法實(shí)例
這篇文章主要介紹了利用Python計(jì)算質(zhì)數(shù)與完全數(shù)的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
今天小編就為大家分享一篇Python使用requests提交HTTP表單的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
Python數(shù)據(jù)庫(kù)編程之pymysql詳解
本文主要介紹了Python數(shù)據(jù)庫(kù)編程中pymysql，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-05-05