協(xié)程，又稱微線程，纖程。英文名 Coroutine。

協(xié)程是 Python 中另外一種實(shí)現(xiàn)多任務(wù)的方式，只不過(guò)比線程更小，占用更小執(zhí)行單元（理解為需要的資源）。

為啥說(shuō)它是一個(gè)執(zhí)行單元，因?yàn)樗詭?CPU 上下文。這樣只要在合適的時(shí)機(jī)， 我們可以把一個(gè)協(xié)程 切換到另一個(gè)協(xié)程。 只要這個(gè)過(guò)程中保存或恢復(fù) CPU上下文那么程序還是可以運(yùn)行的。

通俗的理解：在一個(gè)線程中的某個(gè)函數(shù)，可以在任何地方保存當(dāng)前函數(shù)的一些臨時(shí)變量等信息，然后切換到另外一個(gè)函數(shù)中執(zhí)行，注意不是通過(guò)調(diào)用函數(shù)的方式做到的，并且切換的次數(shù)以及什么時(shí)候再切換到原來(lái)的函數(shù)都由開(kāi)發(fā)者自己確定。

協(xié)程和線程差異

在實(shí)現(xiàn)多任務(wù)時(shí), 線程切換從系統(tǒng)層面遠(yuǎn)不止保存和恢復(fù) CPU上下文這么簡(jiǎn)單。

操作系統(tǒng)為了程序運(yùn)行的高效性每個(gè)線程都有自己緩存 Cache 等等數(shù)據(jù)，操作系統(tǒng)還會(huì)幫你做這些數(shù)據(jù)的恢復(fù)操作，所以線程的切換非常耗性能。

但是協(xié)程的切換只是單純的操作 CPU 的上下文，所以一秒鐘切換個(gè)上百萬(wàn)次系統(tǒng)都抗得住。

之前我們講過(guò) yield 關(guān)鍵字，現(xiàn)在就用它來(lái)實(shí)現(xiàn)多任務(wù)。

例子：

import time

def task_1():
  while True:
    print("--1--")
    time.sleep(0.5)
    yield

def task_2():
  while True:
    print("--2--")
    time.sleep(0.5)
    yield

def main():
  t1 = task_1()
  t2 = task_2()
  while True:
    next(t1)
    next(t2)

if __name__ == "__main__":
  main()

運(yùn)行過(guò)程：

先讓 t1 運(yùn)行一會(huì)，當(dāng) t1 遇到 yield 的時(shí)候，再返回到 main() 循環(huán)的地方，然后執(zhí)行 t2 ， 當(dāng)它遇到 yield 的時(shí)候，再次切換到 t1 中，這樣 t1 和 t2 就交替運(yùn)行，最終實(shí)現(xiàn)了多任務(wù)，協(xié)程。

運(yùn)行結(jié)果：

greenlet

為了更好使用協(xié)程來(lái)完成多任務(wù)，Python 中的 greenlet 模塊對(duì)其封裝，從而使得切換任務(wù)變的更加簡(jiǎn)單。

首先你要安裝一下 greenlet 模塊。

pip3 install greenlet

from greenlet import greenlet
import time

def test1():
  while True:
    print("---A--")
    gr2.switch()
    time.sleep(0.5)

def test2():
  while True:
    print("---B--")
    gr1.switch()
    time.sleep(0.5)

gr1 = greenlet(test1)
gr2 = greenlet(test2)

# 切換到gr1中運(yùn)行
gr1.switch()

運(yùn)行結(jié)果：

和我們之前用 yield 實(shí)現(xiàn)的效果基本一樣，greenlet 其實(shí)是對(duì) yield 進(jìn)行了簡(jiǎn)單的封裝。

greenlet 實(shí)現(xiàn)多任務(wù)要比 yield 更簡(jiǎn)單，但是我們以后還是不用它。

上面例子中的延時(shí)是0.5秒，如果延遲是100秒，那么程序就會(huì)卡住100秒，就算有其他需要執(zhí)行的任務(wù)，系統(tǒng)也不會(huì)切換過(guò)去，這100秒的時(shí)間是無(wú)法利用的。

這個(gè)問(wèn)題下面來(lái)解決。

gevent

greenlet 已經(jīng)實(shí)現(xiàn)了協(xié)程，但是還是得進(jìn)行人工切換，是不是覺(jué)得太麻煩了。

Python 還有一個(gè)比 greenlet 更強(qiáng)大的并且能夠自動(dòng)切換任務(wù)的模塊 gevent。

gevent 是對(duì) greenlet 的再次封裝。

其原理是當(dāng)一個(gè) greenlet 遇到 IO(指的是input output 輸入輸出，比如網(wǎng)絡(luò)、文件操作等)操作時(shí)，比如訪問(wèn)網(wǎng)絡(luò)，就自動(dòng)切換到其他的 greenlet，等到 IO 操作完成，再在適當(dāng)?shù)臅r(shí)候切換回來(lái)繼續(xù)執(zhí)行。

由于 IO 操作非常耗時(shí)，經(jīng)常使程序處于等待狀態(tài)，有了gevent 為我們自動(dòng)切換協(xié)程，就保證總有 greenlet 在運(yùn)行，而不是等待 IO。

首先還是得先安裝 gevent。

pip3 install gevent

例子：

import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

運(yùn)行結(jié)果:

<Greenlet at 0x35aae40: f(3)> 0
<Greenlet at 0x35aae40: f(3)> 1
<Greenlet at 0x35aae40: f(3)> 2
<Greenlet at 0x374a780: f(3)> 0
<Greenlet at 0x374a780: f(3)> 1
<Greenlet at 0x374a780: f(3)> 2
<Greenlet at 0x374a810: f(3)> 0
<Greenlet at 0x374a810: f(3)> 1
<Greenlet at 0x374a810: f(3)> 2

可以看到，3個(gè) greenlet 是依次運(yùn)行而不是交替運(yùn)行。

這還無(wú)法判斷 gevent 是否實(shí)現(xiàn)了多任務(wù)的效果，最好的判斷情況是在運(yùn)行結(jié)果中 0 1 2 不按順序出現(xiàn)。

在 gevent 的概念中，我們提到 gevent 在遇到延時(shí)的時(shí)候會(huì)自動(dòng)切換任務(wù)。

那么，我們先給上面的例子添加延時(shí)，再看效果。

import gevent
import time

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

運(yùn)行結(jié)果：

<Greenlet at 0x36aae40: f(3)> 0
<Greenlet at 0x36aae40: f(3)> 1
<Greenlet at 0x36aae40: f(3)> 2
<Greenlet at 0x384a780: f(3)> 0
<Greenlet at 0x384a780: f(3)> 1
<Greenlet at 0x384a780: f(3)> 2
<Greenlet at 0x384a810: f(3)> 0
<Greenlet at 0x384a810: f(3)> 1
<Greenlet at 0x384a810: f(3)> 2

在添加了延時(shí)之后，運(yùn)行結(jié)果并沒(méi)有改變。

其實(shí)，gevent 要的不是 time.sleep() 的延時(shí)，而是 gevent.sleep() 的延時(shí)。

import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

join 還有一種更簡(jiǎn)單的寫(xiě)法。

import time
import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)

gevent.joinall([
  gevent.spawn(f, 3),
  gevent.spawn(f, 3),
  gevent.spawn(f, 3)
])

一般都是后面的這種寫(xiě)法。

運(yùn)行結(jié)果:

<Greenlet at 0x2e5ae40: f(3)> 0
<Greenlet at 0x2ffa780: f(3)> 0
<Greenlet at 0x2ffa810: f(3)> 0
<Greenlet at 0x2e5ae40: f(3)> 1
<Greenlet at 0x2ffa780: f(3)> 1
<Greenlet at 0x2ffa810: f(3)> 1
<Greenlet at 0x2e5ae40: f(3)> 2
<Greenlet at 0x2ffa780: f(3)> 2
<Greenlet at 0x2ffa810: f(3)> 2

這下終于實(shí)現(xiàn)多任務(wù)的效果了, gevent 在遇到延時(shí)的時(shí)候，就自動(dòng)切換到其他任務(wù)。

這里是將 time 中的 sleep 換成了 gevent 中的 sleep。

那如果有網(wǎng)絡(luò)程序，網(wǎng)絡(luò)程序中也有許多堵塞，比如 connect， recv，accept，需要不需要換成 gevent 中的對(duì)應(yīng)方法。

理論上來(lái)說(shuō)，是要換的。如果想用 gevent，那么就要把所有的延時(shí)操作，堵塞這一類的函數(shù)，統(tǒng)統(tǒng)換成 gevent 中的對(duì)應(yīng)方法。

那有個(gè)問(wèn)題，萬(wàn)一我的代碼已經(jīng)寫(xiě)了10萬(wàn)行了，這換起來(lái)怎么破......

有什么辦法不需要手動(dòng)修改么，有，打個(gè)補(bǔ)丁即可。

import time
import gevent
from gevent import monkey

# 有耗時(shí)操作時(shí)需要
# 將程序中用到的耗時(shí)操作的代碼，換為gevent中自己實(shí)現(xiàn)的模塊
monkey.patch_all() 

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

monkey.patch_all() 會(huì)自動(dòng)去檢查代碼，將所有會(huì)產(chǎn)生延時(shí)堵塞的方法，都自動(dòng)換成 gevent 中的方法。

運(yùn)行結(jié)果：

<Greenlet at 0x3dd91e0: f(3)> 0
<Greenlet at 0x3dd9810: f(3)> 0
<Greenlet at 0x3dd99c0: f(3)> 0
<Greenlet at 0x3dd91e0: f(3)> 1
<Greenlet at 0x3dd9810: f(3)> 1
<Greenlet at 0x3dd99c0: f(3)> 1
<Greenlet at 0x3dd91e0: f(3)> 2
<Greenlet at 0x3dd9810: f(3)> 2
<Greenlet at 0x3dd99c0: f(3)> 2

總結(jié)：

通過(guò)利用延時(shí)的時(shí)間去做其他任務(wù)，把時(shí)間都利用起來(lái)，這就是協(xié)程最大的意義。

到此這篇關(guān)于協(xié)程Python 中實(shí)現(xiàn)多任務(wù)耗資源最小的方式的文章就介紹到這了,更多相關(guān)Python多任務(wù)耗資源最小方式內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論