快捷導(dǎo)航

Python的gevent框架的入門教程

更新時(shí)間：2015年04月29日 16:50:46 作者：廖雪峰

這篇文章主要介紹了Python的gevent框架的入門教程,示例代碼基于Python2.x版本,需要的朋友可以參考下

Python通過(guò)yield提供了對(duì)協(xié)程的基本支持，但是不完全。而第三方的gevent為Python提供了比較完善的協(xié)程支持。

gevent是第三方庫(kù)，通過(guò)greenlet實(shí)現(xiàn)協(xié)程，其基本思想是：

當(dāng)一個(gè)greenlet遇到IO操作時(shí)，比如訪問(wèn)網(wǎng)絡(luò)，就自動(dòng)切換到其他的greenlet，等到IO操作完成，再在適當(dāng)?shù)臅r(shí)候切換回來(lái)繼續(xù)執(zhí)行。由于IO操作非常耗時(shí)，經(jīng)常使程序處于等待狀態(tài)，有了gevent為我們自動(dòng)切換協(xié)程，就保證總有g(shù)reenlet在運(yùn)行，而不是等待IO。

由于切換是在IO操作時(shí)自動(dòng)完成，所以gevent需要修改Python自帶的一些標(biāo)準(zhǔn)庫(kù)，這一過(guò)程在啟動(dòng)時(shí)通過(guò)monkey patch完成：

from gevent import monkey; monkey.patch_socket()
import gevent

def f(n):
  for i in range(n):
    print gevent.getcurrent(), i

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()

運(yùn)行結(jié)果：

<Greenlet at 0x10e49f550: f(5)> 0
<Greenlet at 0x10e49f550: f(5)> 1
<Greenlet at 0x10e49f550: f(5)> 2
<Greenlet at 0x10e49f550: f(5)> 3
<Greenlet at 0x10e49f550: f(5)> 4
<Greenlet at 0x10e49f910: f(5)> 0
<Greenlet at 0x10e49f910: f(5)> 1
<Greenlet at 0x10e49f910: f(5)> 2
<Greenlet at 0x10e49f910: f(5)> 3
<Greenlet at 0x10e49f910: f(5)> 4
<Greenlet at 0x10e49f4b0: f(5)> 0
<Greenlet at 0x10e49f4b0: f(5)> 1
<Greenlet at 0x10e49f4b0: f(5)> 2
<Greenlet at 0x10e49f4b0: f(5)> 3
<Greenlet at 0x10e49f4b0: f(5)> 4

可以看到，3個(gè)greenlet是依次運(yùn)行而不是交替運(yùn)行。

要讓greenlet交替運(yùn)行，可以通過(guò)gevent.sleep()交出控制權(quán)：

def f(n):
  for i in range(n):
    print gevent.getcurrent(), i
    gevent.sleep(0)

執(zhí)行結(jié)果：

<Greenlet at 0x10cd58550: f(5)> 0
<Greenlet at 0x10cd58910: f(5)> 0
<Greenlet at 0x10cd584b0: f(5)> 0
<Greenlet at 0x10cd58550: f(5)> 1
<Greenlet at 0x10cd584b0: f(5)> 1
<Greenlet at 0x10cd58910: f(5)> 1
<Greenlet at 0x10cd58550: f(5)> 2
<Greenlet at 0x10cd58910: f(5)> 2
<Greenlet at 0x10cd584b0: f(5)> 2
<Greenlet at 0x10cd58550: f(5)> 3
<Greenlet at 0x10cd584b0: f(5)> 3
<Greenlet at 0x10cd58910: f(5)> 3
<Greenlet at 0x10cd58550: f(5)> 4
<Greenlet at 0x10cd58910: f(5)> 4
<Greenlet at 0x10cd584b0: f(5)> 4

3個(gè)greenlet交替運(yùn)行，

把循環(huán)次數(shù)改為500000，讓它們的運(yùn)行時(shí)間長(zhǎng)一點(diǎn)，然后在操作系統(tǒng)的進(jìn)程管理器中看，線程數(shù)只有1個(gè)。

當(dāng)然，實(shí)際代碼里，我們不會(huì)用gevent.sleep()去切換協(xié)程，而是在執(zhí)行到IO操作時(shí)，gevent自動(dòng)切換，代碼如下：

from gevent import monkey; monkey.patch_all()
import gevent
import urllib2

def f(url):
  print('GET: %s' % url)
  resp = urllib2.urlopen(url)
  data = resp.read()
  print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
    gevent.spawn(f, 'https://www.python.org/'),
    gevent.spawn(f, 'https://www.yahoo.com/'),
    gevent.spawn(f, 'https://github.com/'),
])

運(yùn)行結(jié)果：

GET: https://www.python.org/
GET: https://www.yahoo.com/
GET: https://github.com/
45661 bytes received from https://www.python.org/.
14823 bytes received from https://github.com/.
304034 bytes received from https://www.yahoo.com/.

從結(jié)果看，3個(gè)網(wǎng)絡(luò)操作是并發(fā)執(zhí)行的，而且結(jié)束順序不同，但只有一個(gè)線程。
小結(jié)

使用gevent，可以獲得極高的并發(fā)性能，但gevent只能在Unix/Linux下運(yùn)行，在Windows下不保證正常安裝和運(yùn)行。

由于gevent是基于IO切換的協(xié)程，所以最神奇的是，我們編寫的Web App代碼，不需要引入gevent的包，也不需要改任何代碼，僅僅在部署的時(shí)候，用一個(gè)支持gevent的WSGI服務(wù)器，立刻就獲得了數(shù)倍的性能提升。具體部署方式可以參考后續(xù)“實(shí)戰(zhàn)”-“部署Web App”一節(jié)。

您可能感興趣的文章: