Python 線程池模塊之多線程操作代碼
更新時(shí)間：2021年05月20日 10:37:37 作者：簡(jiǎn)簡(jiǎn)單單OnlineZuozuo
最近在做一個(gè)爬蟲相關(guān)的項(xiàng)目，單線程的整站爬蟲，耗時(shí)真的不是一般的巨大，運(yùn)行一次也是心累，所以，要想實(shí)現(xiàn)整站爬蟲，多線程是不可避免的，那么python多線程又應(yīng)該怎樣實(shí)現(xiàn)呢？今天小編給大家分享下實(shí)現(xiàn)代碼，感興趣的朋友一起看看吧
1、線程池模塊
引入
from concurrent.futures import ThreadPoolExecutor
2、使用線程池
一個(gè)簡(jiǎn)單的線程池使用案例
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(10, 'Python')
def fun():
time.sleep(1)
print(1, end='')
if __name__ == '__main__':
# 列表推導(dǎo)式
[pool.submit(fun) for i in range(20) if True]
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(10, 'Python')
def fun(arg1,arg2):
time.sleep(1)
print(arg1, end=' ')
print(arg2, end=' ')
if __name__ == '__main__':
# 列表推導(dǎo)式
[pool.submit(fun,i,i) for i in range(20) if True]
# 單個(gè)線程的執(zhí)行
task = pool.submit(fun,'Hello','world')
# 判斷任務(wù)執(zhí)行狀態(tài)
print(f'task status {task.done()}')
time.sleep(4)
print(f'task status {task.done()}')
# 獲取結(jié)果的函數(shù)是阻塞的，所以他會(huì)等線程結(jié)束之后才會(huì)輸出
print(task.result())
3、獲取結(jié)果
阻塞等待
print(task.result())
批量獲取結(jié)果
for future in as_completed(all_task):
data = future.result()
阻塞主線程，等待執(zhí)行結(jié)束再執(zhí)行下一個(gè)業(yè)務(wù)
# 等待線程全部執(zhí)行完畢
wait(pool.submit(fun,1,2),return_when=ALL_COMPLETED)
print('')
以上就是Python 線程池模塊之多線程操作代碼的詳細(xì)內(nèi)容，更多關(guān)于Python 線程池模塊的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python編程super應(yīng)用場(chǎng)景及示例解析
最近有粉絲向我咨詢super相關(guān)的問(wèn)題，說(shuō)網(wǎng)上搜索到的教程不夠通俗易懂，看了之后還是不太理解。所以在這里基于我自己的理解來(lái)講解一下super2021-10-10
這篇文章主要為大家詳細(xì)介紹了Django?RestFramework?全局異常處理，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-02-02
使用Matplotlib繪制平行坐標(biāo)系的示例詳解
平行坐標(biāo)系，是一種含有多個(gè)垂直平行坐標(biāo)軸的統(tǒng)計(jì)圖表，這篇文章主要為大家介紹了如何使用繪制平行坐標(biāo)系，需要的小伙伴可以參考一下2023-07-07
Pytorch保存模型其實(shí)非常簡(jiǎn)單,下面這篇文章主要給大家介紹了關(guān)于PyTorch模型的保存與加載的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
python如何讀取和存儲(chǔ)dict()與.json格式文件
這篇文章主要介紹了python如何讀取和存儲(chǔ)dict()與.json格式文件，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。2022-06-06
python 列表遞歸求和、計(jì)數(shù)、求最大元素的實(shí)例
今天小編就為大家分享一篇python 列表遞歸求和、計(jì)數(shù)、求最大元素的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
這篇文章主要介紹了學(xué)習(xí)python爬蟲并爬取某站上海租房圖片的原理介紹以及相關(guān)代碼分享，對(duì)此有興趣的朋友學(xué)習(xí)下。2018-02-02
這篇文章主要向我們?cè)敿?xì)介紹了Python描述器descriptor,需要的朋友可以參考下2015-02-02
這篇文章主要為大家詳細(xì)介紹了python遞歸實(shí)現(xiàn)快速排序，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-08-08
離線狀態(tài)下在jupyter notebook中使用plotly實(shí)例
這篇文章主要介紹了離線狀態(tài)下在jupyter notebook中使用plotly實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04