Python線程池ThreadPoolExecutor使用方式

更新時間：2024年02月10日 09:24:47 作者：AllardZhao

這篇文章主要介紹了Python線程池ThreadPoolExecutor使用方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

如何使用線程池？

實際案例

我們之前實現(xiàn)了一個多線程web視頻監(jiān)控服務(wù)器，我們需要對請求連接數(shù)做限制，以防止惡意用戶發(fā)起大量連接而導(dǎo)致服務(wù)器創(chuàng)建大量線程，最終因資源耗盡而癱瘓。

可以使用線程池，替代原來的每次請求創(chuàng)建線程。

解決方案

python3中有線程池實現(xiàn)，使用標(biāo)準(zhǔn)庫中concurrent.futures下的ThreadPoolExecutor，對象的submit和map方法可以用來啟動線程池中線程執(zhí)行任務(wù)。

線程池介紹：

線程池就是提前創(chuàng)建好某一固定數(shù)量的線程放到池子里面，需要使用的時候去這個池子中取一個線程出來讓它執(zhí)行任務(wù)，執(zhí)行完以后再歸還給線程池以便后面的任務(wù)繼續(xù)使用線程。

代碼演示

多線程池的簡單使用

from concurrent.futures import ThreadPoolExecutor
 
# 創(chuàng)建Executor對象，指定線程池中線程數(shù)
executor = ThreadPoolExecutor(3)
 
 
# 使用線程池中線程執(zhí)行任務(wù)
# 定義任務(wù)函數(shù)a的b次方
def f(a, b):
    print('f', a, b)
    return a ** b
 
 
# 調(diào)用線程池中線程去執(zhí)行函數(shù)
future = executor.submit(f, 2, 3)
# 使用線程池中一個線程運行這個函數(shù)，這個函數(shù)運行完以后
# 這個線程又會歸還到線程池中去
 
# 使用result得到函數(shù)的運行結(jié)果
print(future.result())
# 如果函數(shù)的運行事件比較長，在調(diào)用result的時候他還沒有執(zhí)行完，
# 這個result就會被阻塞到這里，直到這個函數(shù)運行完
 
 
# 和python內(nèi)置的map方法類似，只不過他在多個線程上同時調(diào)用f
# 在第1個線程計算2的4次方，第2個線程計算3的5次方，第3個線程計算5的6次方
executor.map(f, [2, 3, 5], [4, 5, 6])
 
'''
假設(shè)當(dāng)前線程池中所有線程都在忙碌，一直在運行函數(shù)并且沒有返回，
我們再提交一個任務(wù)的時候，就會出現(xiàn)pending，
等待線程池中有一個空閑線程來運行它。
'''
import time
 
 
def f2(a, b):
    print('f2', a, b)
    time.sleep(10)
    # 等待10秒再返回
    return a ** b
 
 
# 運行以下語句可以到，可以看到首先打印的'f2 2 4'、'f2 3 5'、'f2 5 6'
# 過了一會才把'f2 6 7'和'f2 7 8'打印出來，直到前面退出了他才得到運行權(quán)利
executor.map(f2, [2, 3, 5, 6, 7], [4, 5, 6, 7, 8])