Python多進程共享numpy 數(shù)組的方法
為什么要用numpy
Python中提供了list容器，可以當作數(shù)組使用。但列表中的元素可以是任何對象，因此列表中保存的是對象的指針，這樣一來，為了保存一個簡單的列表[1,2,3]。就需要三個指針和三個整數(shù)對象。對于數(shù)值運算來說，這種結構顯然不夠高效。
Python雖然也提供了array模塊，但其只支持一維數(shù)組，不支持多維數(shù)組(在TensorFlow里面偏向于矩陣理解)，也沒有各種運算函數(shù)。因而不適合數(shù)值運算。
NumPy的出現(xiàn)彌補了這些不足。
引用：https://zhuanlan.zhihu.com/p/32513483
共享 numpy 數(shù)組
需要用到 numpy 時往往是數(shù)據(jù)量較大的場景，如果直接復制會造成大量內存浪費。共享 numpy 數(shù)組則是通過上面一節(jié)的 Array 實現(xiàn)，再用 numpy.frombuffer 以及 reshape 對共享的內存封裝成 numpy 數(shù)組，代碼如下：
# encoding:utf8
import ctypes
import os
import multiprocessing
import numpy as np
NUM_PROCESS = multiprocessing.cpu_count()
def worker(index):
main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
pid = os.getpid()
main_nparray[index, :] = pid
return pid
if __name__ == "__main__":
shared_array_base = multiprocessing.Array(
ctypes.c_double, NUM_PROCESS * 10, lock=False)
pool = multiprocessing.Pool(processes=NUM_PROCESS)
result = pool.map(worker, range(NUM_PROCESS))
main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
print( main_nparray )
運行結果：
到此這篇關于Python多進程共享numpy 數(shù)組的方法的文章就介紹到這了,更多相關Python多進程共享numpy 數(shù)組內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python logging模塊用法,結合實例形式分析了Python logging模塊相關配置、函數(shù)、組件等操作方法與注意事項,需要的朋友可以參考下2018-08-08
下面小編就為大家分享一篇對pandas進行數(shù)據(jù)預處理的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python表格數(shù)據(jù)處理庫之tablib庫詳解
這篇文章主要介紹了Python表格數(shù)據(jù)處理庫之tablib庫詳解,Tablib是一個用于處理電子表格數(shù)據(jù)的Python庫，它可以輕松地進行數(shù)據(jù)的導入和導出，以及數(shù)據(jù)格式的轉換,需要的朋友可以參考下2023-08-08
Python如何將圖像音視頻等資源文件隱藏在代碼中(小技巧)
有朋友問小編使用pyinstaller打包源碼時，因為代碼中使用了圖像、音頻、視頻等資源文件，無法將程序打包成單一的可執(zhí)行文件，怎么處理呢，下面小編通過代碼給大家介紹Python如何將圖像音視頻等資源文件隱藏在代碼中，感興趣的朋友一起看看吧2020-02-02
這篇文章主要為大家詳細介紹了TensorFlow搭建神經網(wǎng)絡最佳實踐，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-03-03
python閉包、深淺拷貝、垃圾回收、with語句知識點匯總
在本篇文章里小編給大家整理了關于python閉包、深淺拷貝、垃圾回收、with語句知識點匯總，有興趣的朋友們學習下。2020-03-03
通過Python中的http.server搭建文件上傳下載服務功能
通過本文我們學習了如何使用Python的http.server模塊搭建一個基本的HTTP服務器,并實現(xiàn)文件下載服務,介紹了如何設置服務器端口、自定義文件目錄、定制HTTP響應頭以及處理GET請求,感興趣的朋友跟隨小編一起看看吧2024-08-08
Python使用pylab庫實現(xiàn)繪制直方圖功能示例
這篇文章主要介紹了Python使用pylab庫實現(xiàn)繪制直方圖功能,結合實例形式分析了Python數(shù)據(jù)讀取、遍歷以及基于pylab庫繪制直方圖的相關操作技巧,需要的朋友可以參考下2018-06-06
基于opencv和pillow實現(xiàn)人臉識別系統(tǒng)(附demo)
人臉識別就是一個程序能識別給定圖像或視頻中的人臉，本文主要介紹了opencv和pillow實現(xiàn)人臉識別系統(tǒng)，本文不涉及分類器、訓練識別器等算法原理，感興趣的可以了解一下2021-11-11
python利用xpath爬取網(wǎng)上數(shù)據(jù)并存儲到django模型中
這篇文章主要介紹了python利用xpath爬取網(wǎng)上數(shù)據(jù)并存儲到django模型中,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02