Python并發(fā)編程的幾種實(shí)現(xiàn)方式
Python 并發(fā)編程是指在 Python 中編寫能夠同時(shí)執(zhí)行多個(gè)任務(wù)的程序。并發(fā)編程在任何一門語(yǔ)言當(dāng)中都是比較難的,因?yàn)闀?huì)涉及各種各樣的問(wèn)題,在Python當(dāng)中也不例外。Python 提供了多種方式來(lái)實(shí)現(xiàn)并發(fā),包括多線程(threading)、多進(jìn)程(multiprocessing)、異步編程(asyncio),以及一些高級(jí)用法concurrent.futures和第三方庫(kù)如gevent。

多線程 (Threading)
多線程是通過(guò)使用 threading 模塊來(lái)創(chuàng)建和管理線程。線程是輕量級(jí)的過(guò)程,可以與同一進(jìn)程中的其他線程共享數(shù)據(jù)和資源。然而,由于 Python 的全局解釋器鎖(GIL)的存在,如果用的解釋器是CPython的話,那么多線程在 CPU 密集型任務(wù)上不會(huì)有性能提升的,但是IO密集型的是會(huì)有的。
import threading
import time
def worker(num):
print(f"Worker {num} starting")
time.sleep(2)
print(f"Worker {num} finished")
threads = []
for i in range(5):
t = threading.Thread(target=worker, args=(i,))
threads.append(t)
t.start()
# Wait for all threads to complete
for t in threads:
t.join()
print("All workers finished.")
上面的例子中,通過(guò)threading模塊中的Thread啟動(dòng)了另一個(gè)線程,輸出中首先出現(xiàn)的是每個(gè)線程的啟動(dòng)消息,如 "Worker 0 starting",然后是 "Worker 1 starting" 等等。
接下來(lái)是每個(gè)線程的完成消息,如 "Worker 0 finished"。由于線程的執(zhí)行順序不是固定的,因此實(shí)際輸出中的線程完成順序可能會(huì)有所不同。
全局解釋器鎖(GIL)是歷史歷史遺留下來(lái)的問(wèn)題,在Python3.13可能會(huì)得到解決。
多進(jìn)程 (Multiprocessing)
多進(jìn)程則可以通過(guò)使用 multiprocessing 模塊來(lái)創(chuàng)建獨(dú)立的進(jìn)程。每個(gè)進(jìn)程都有自己的內(nèi)存空間,因此可以繞過(guò) GIL,適用于 CPU 密集型任務(wù)。
from multiprocessing import Process
import time
def worker(num):
print(f"Worker {num} starting")
time.sleep(2)
print(f"Worker {num} finished")
processes = []
for i in range(5):
p = Process(target=worker, args=(i,))
processes.append(p)
p.start()
# Wait for all processes to complete
for p in processes:
p.join()
print("All workers finished.")
多進(jìn)程與多線程示例類似,但這里是在不同的進(jìn)程中執(zhí)行。通過(guò)multiprocessing模塊中的Process啟動(dòng)了另一個(gè)進(jìn)程,每個(gè)進(jìn)程開始和完成的消息按順序出現(xiàn)。由于進(jìn)程之間沒(méi)有共享內(nèi)存,每個(gè)進(jìn)程都在獨(dú)立的環(huán)境中運(yùn)行,因此輸出中的完成順序與啟動(dòng)順序相同。
異步編程 (Asyncio)
Python 3.4 引入了 asyncio 模塊,它是一個(gè)用于編寫單線程并發(fā)代碼的模塊,使用 async 和 await 關(guān)鍵字。異步編程允許你編寫并發(fā)代碼,以非阻塞的方式運(yùn)行。這非常適合 I/O 密集型任務(wù),如網(wǎng)絡(luò)請(qǐng)求、文件操作等。
import asyncio
async def worker(num):
print(f"Worker {num} starting")
await asyncio.sleep(2)
print(f"Worker {num} finished")
async def main():
tasks = [worker(i) for i in range(5)]
await asyncio.gather(*tasks)
asyncio.run(main())
print("All workers finished.")
由于協(xié)程是基于事件循環(huán)的,因此輸出中的完成順序可能與啟動(dòng)順序不同。異步編程也是python并發(fā)編程中比較重要的一個(gè)概念,后面很大篇幅都要圍繞這個(gè)異步編程來(lái)展開的。
使用 concurrent.futures
concurrent.futures 提供了一個(gè)高層次的接口來(lái)處理并行執(zhí)行的任務(wù),實(shí)際上就是線程池或者進(jìn)程池的玩意,這個(gè)池的概念就是線程或者進(jìn)程用完不銷毀,重復(fù)利用,具體后面展開說(shuō)說(shuō)。
示例
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import time
def worker(num):
print(f"Worker {num} starting")
time.sleep(2)
return f"Worker {num} finished"
with ThreadPoolExecutor(max_workers=5) as executor:
futures = [executor.submit(worker, i) for i in range(5)]
for future in futures:
print(future.result())
print("All workers finished.")
首先,創(chuàng)建了一個(gè)最大容納 5 個(gè)工作線程的線程池。然后,提交了 5 個(gè) worker 任務(wù)到線程池中,并立即返回了 5 個(gè) Future 對(duì)象。接著,程序遍歷這些 Future 對(duì)象,等待每個(gè)任務(wù)完成,并打印它們的返回值。最后,打印所有工作線程已經(jīng)完成的消息。不過(guò)還是那個(gè)問(wèn)題,由于 Python 的全局解釋器鎖(GIL),在 CPU 密集型任務(wù)中,線程池并不會(huì)帶來(lái)性能上的提升。
以上這些方法都可以根據(jù)你的具體需求來(lái)選擇使用。如果你需要進(jìn)行更多的細(xì)節(jié)控制或者有特定的性能要求,你還可以考慮使用更底層的 API 或者第三方庫(kù)。
到此這篇關(guān)于Python并發(fā)編程的幾種實(shí)現(xiàn)方式的文章就介紹到這了,更多相關(guān)Python并發(fā)編程的實(shí)現(xiàn)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python帶參數(shù)打包exe及調(diào)用方式
今天小編就為大家分享一篇python帶參數(shù)打包exe及調(diào)用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
python matplotlib庫(kù)繪制條形圖練習(xí)題
這篇文章主要介紹了python matplotlib庫(kù)繪制條形圖練習(xí)題,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
Python操作系統(tǒng)的6個(gè)自動(dòng)化腳本小結(jié)
在Python中,實(shí)現(xiàn)操作系統(tǒng)自動(dòng)化的腳本可以涵蓋從文件操作、系統(tǒng)監(jiān)控到網(wǎng)絡(luò)任務(wù)等多種功能,下面我將詳細(xì)介紹六個(gè)不同類別的Python自動(dòng)化腳本示例,這些示例將幫助你理解如何用Python來(lái)自動(dòng)化日常操作系統(tǒng)任務(wù),需要的朋友可以參考下2024-10-10
13個(gè)Python開發(fā)者都應(yīng)該知道的實(shí)用技巧分享
我們都知道 Python 是目前比較流行的編程語(yǔ)言之一,在今天這篇文章中,我將分享13關(guān)于Python開發(fā)的實(shí)用技巧,這些技巧將幫助你進(jìn)行日常開發(fā),大家可以根據(jù)需要進(jìn)行選擇2025-09-09
Python實(shí)現(xiàn)接口自動(dòng)化測(cè)試的方法詳解
Python接口自動(dòng)化測(cè)試是一種高效、可重復(fù)的軟件質(zhì)量驗(yàn)證方法,尤其在現(xiàn)代軟件開發(fā)中,它已經(jīng)成為不可或缺的一部分,本文將深入探討如何使用Python進(jìn)行接口自動(dòng)化測(cè)試,文中通過(guò)代碼示例介紹的非常詳細(xì),需要的朋友可以參考下2024-08-08
python接口自動(dòng)化測(cè)試之接口數(shù)據(jù)依賴的實(shí)現(xiàn)方法
這篇文章主要介紹了python接口自動(dòng)化測(cè)試之接口數(shù)據(jù)依賴的實(shí)現(xiàn)方法,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-04-04

