python進(jìn)程池和線程池的區(qū)別
線程池和多線程的區(qū)別:
線程池可以減少線程創(chuàng)建和銷(xiāo)毀的開(kāi)銷(xiāo),并控制并發(fā)數(shù)量,從而提高系統(tǒng)的性能。多線程可以并發(fā)執(zhí)行程序中的不同任務(wù),提高程序的效率和系統(tǒng)的吞吐量。
如果需要同時(shí)處理多個(gè)任務(wù)并且這些任務(wù)之間沒(méi)有依賴關(guān)系,那么可以選擇多線程;如果需要限制同時(shí)執(zhí)行的任務(wù)數(shù)量或者需要復(fù)用線程來(lái)避免頻繁創(chuàng)建和銷(xiāo)毀線程的開(kāi)銷(xiāo)或者當(dāng)需要執(zhí)行的任務(wù)數(shù)量很大但是每個(gè)任務(wù)所需的時(shí)間較短并且執(zhí)行時(shí)間相對(duì)穩(wěn)定,那么可以選擇線程池。
進(jìn)程池和多進(jìn)程的區(qū)別:
如果你需要同時(shí)執(zhí)行多個(gè)不同的任務(wù),使用多進(jìn)程;如果你需要并行處理多個(gè)任務(wù),并且每個(gè)任務(wù)都是獨(dú)立的,那么多進(jìn)程會(huì)是一個(gè)不錯(cuò)的選擇。每個(gè)進(jìn)程都有自己的內(nèi)存空間和獨(dú)立的 CPU 時(shí)間,可以避免多個(gè)任務(wù)之間的相互干擾。
如果你需要限制并發(fā)執(zhí)行任務(wù)的數(shù)量,使用進(jìn)程池。如果你的任務(wù)數(shù)比較大,而且每個(gè)任務(wù)執(zhí)行時(shí)間較短,那么進(jìn)程池可能更適合。進(jìn)程池會(huì)預(yù)先創(chuàng)建一定數(shù)量的進(jìn)程,任務(wù)到來(lái)時(shí)就將其分配給空閑的進(jìn)程執(zhí)行,避免反復(fù)創(chuàng)建和銷(xiāo)毀進(jìn)程的開(kāi)銷(xiāo)。
線程池的使用:
from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED
def test(a):
print(f'一個(gè)假的進(jìn)程任務(wù){(diào)a}')
return a
def add_thread():
threads_list = [i for i in range(10)]
th_executor = ThreadPoolExecutor(max_workers=10)
for i in threads_list:
# 線程池執(zhí)行任務(wù)方法1
th_executor.submit(test, i)
# 線程池執(zhí)行任務(wù)方法2
th_executor.map(test, threads_list)
# 線程池獲取結(jié)果方法1:使用as_completed方法,然后用其result屬性輸出結(jié)果
all_thread = [th_executor.submit(test, i) for i in threads_list]
results1 = [j.result() for j in as_completed(all_thread)]
print('result1結(jié)果:', results1)
# result1結(jié)果: [3, 0, 2, 4, 1, 5, 6, 8, 9, 7]
# 線程池獲取結(jié)果方法2
results2 = [k for k in th_executor.map(test, threads_list)]
print('results2結(jié)果:', results2)
# results2結(jié)果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
# 也可以使用等待函數(shù),fs:任務(wù)序列;timeout任務(wù)最大等待時(shí)間,在規(guī)定時(shí)間內(nèi),任務(wù)未執(zhí)行完成也會(huì)停止;
# return_when:wait返回結(jié)果的條件,默認(rèn)為ALL_COMPLETED,全部執(zhí)行完成再返回
# 譬如,此處以下的代碼是展示wait的用法
# task_list = th_executor.map(test, threads_list)
# 等待任務(wù)完成
# wait(task_list)
# 任務(wù)完成之后再進(jìn)行結(jié)果的獲取
# task_result = [k for k in task_list]
if __name__ == '__main__':
add_thread()
由result1結(jié)果和result2結(jié)果可知,使用submit方法執(zhí)行任務(wù)的順序是不固定的,使用map方法執(zhí)行任務(wù)的順序是固定的。
進(jìn)程池的用法:和線程池是一樣的;進(jìn)程池用的是with方法去展示的,也可以用線程池的那種方法是使用,當(dāng)然線程池的也可以用with方法去使用。
from concurrent.futures import ProcessPoolExecutor, as_completed, wait, ALL_COMPLETED
def test(a):
print(f'一個(gè)假的線程任務(wù){(diào)a}')
return a
def add_process():
with ProcessPoolExecutor(max_workers=8) as pool:
process_list = [i for i in range(10)]
for i in process_list:
# 進(jìn)程池執(zhí)行任務(wù)方法1
pool.submit(test, i)
# 進(jìn)程池執(zhí)行任務(wù)方法2
pool.map(test, process_list)
# 進(jìn)程池獲取結(jié)果方法1:使用as_completed方法,然后用其result屬性輸出結(jié)果
all_process = [pool.submit(test, i) for i in process_list]
results1 = [j.result() for j in as_completed(all_process)]
print('result1結(jié)果:', results1)
# results1結(jié)果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
# 進(jìn)程池獲取結(jié)果方法2
results2 = [k for k in pool.map(test, process_list)]
print('results2結(jié)果:', results2)
# results2結(jié)果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
# 也可以使用等待函數(shù),fs:任務(wù)序列;timeout任務(wù)最大等待時(shí)間,在規(guī)定時(shí)間內(nèi),任務(wù)未執(zhí)行完成也會(huì)停止;
# return_when:wait返回結(jié)果的條件,默認(rèn)為ALL_COMPLETED,全部執(zhí)行完成再返回
# 譬如,此處是展示wait的用法
# task_list = pool.map(test, process_list)
# # 等待任務(wù)完成
# wait(task_list)
# # 任務(wù)完成之后再進(jìn)行結(jié)果的獲取
# task_result = [k for k in task_list]
if __name__ == '__main__':
add_process()
由result1結(jié)果和result2結(jié)果可知,使用submit方法執(zhí)行任務(wù)的順序和使用map方法執(zhí)行任務(wù)的順序都是固定的。
到此這篇關(guān)于python進(jìn)程池和線程池的區(qū)別的文章就介紹到這了,更多相關(guān)python進(jìn)程池和線程池內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
關(guān)于python中導(dǎo)入文件到list的問(wèn)題
這篇文章主要介紹了關(guān)于python中導(dǎo)入文件到list的問(wèn)題,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-10-10
Python 實(shí)現(xiàn)Excel XLS和XLSX格式相互轉(zhuǎn)換問(wèn)題
本文介紹如何使用Python庫(kù)Spire.XLS for Python實(shí)現(xiàn)Excel文件的XLS和XLSX格式轉(zhuǎn)換,提供了詳細(xì)的安裝指南和轉(zhuǎn)換步驟,幫助用戶在不同版本的Excel文件格式之間靈活轉(zhuǎn)換,同時(shí)支持將Excel文件轉(zhuǎn)換為PDF、圖片、HTML等格式2024-10-10
django 連接數(shù)據(jù)庫(kù)出現(xiàn)1045錯(cuò)誤的解決方式
這篇文章主要介紹了django 連接數(shù)據(jù)庫(kù)出現(xiàn)1045錯(cuò)誤的解決方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
基于Python實(shí)現(xiàn)體育彩票選號(hào)器功能代碼實(shí)例
這篇文章主要介紹了基于Python實(shí)現(xiàn)體育彩票選號(hào)器功能代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09
Python中循環(huán)引用(import)失敗的解決方法
在python中常常會(huì)遇到循環(huán)import即circular import的問(wèn)題,下面這篇文章主要給大家介紹了關(guān)于Python中循環(huán)引用(import)失敗的解決方法,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2018-04-04
簡(jiǎn)單的連接MySQL與Python的Bottle框架的方法
這篇文章主要介紹了簡(jiǎn)單的連接MySQL與Python的Bottle框架的方法,主要基于mysql-connector插件,需要的朋友可以參考下2015-04-04

