gevent

java_laq小館 2014-09-26

展開全文

參考網(wǎng)站:http://blog.csdn.net/tianmo2010/article/details/7892508

話說gevent也沒個logo啥的,，于是就擺了這張圖= =|||,，首先這是一種叫做greenlet的鳥，而在python里,，按照官方解釋greenlet是輕量級的并行編程,，而gevent呢，就是利用 greenlet實現(xiàn)的基于協(xié)程的python的網(wǎng)絡(luò)library,，好了,，關(guān)系理清了。,。,。

話說pycon沒有白去阿,，了解了很多以前不知道的東西，比如說協(xié)程,，gevent,，greenlet，eventlet,。說說協(xié)程,，進(jìn)程和線程大家平時了解的都比較多，而協(xié)程算是一種輕量級進(jìn)程,，但又不能叫進(jìn)程,，因為操作系統(tǒng)并不知道它的存在。什么意思呢,，就是說,，協(xié)程像是一種在程序級別來模擬系統(tǒng)級別的進(jìn)程，由于是單進(jìn)程,，并且少了上下文切換,，于是相對來說系統(tǒng)消耗很少，而且網(wǎng)上的各種測試也表明,，協(xié)程確實擁有驚人的速度,。并且在實現(xiàn)過程中，協(xié)程可以用以前同步思路的寫法,，而運行起來確是異步的,，也確實很有意思。話說有一種說法就是說進(jìn)化歷程是多進(jìn)程->多線程->異步->協(xié)程,，暫且不論說的對不對,，單從諸多贊譽來看，協(xié)程還是有必要理解一下的,。

比較慚愧,，greenlet沒怎么看就直接看gevent，官方文檔還是可以看看的,，尤其是源碼里的examples都相當(dāng)不錯,，有助于理解gevent的使用。

gevent封裝了很多很方便的接口,，其中一個就是monkey

from gevent import monkey
monkey.patch_all()

這樣兩行，就可以使用python以前的socket之類的,，因為gevent已經(jīng)給你自動轉(zhuǎn)化了,，真是超級方便阿。

而且安裝gevent也是很方便,，首先安裝依賴libevent和greenlet,，再利用pypi安裝即可

sudo apt-get install libevent-dev
sudo apt-get install python-dev
sudo easy-install gevent

然后,，gevent中的event，有wait,，set等api,，方便你可以讓某些協(xié)程在某些地方等待條件，然后用另一個去喚醒他們,。

再就是gevent實現(xiàn)了wsgi可以很方便的當(dāng)作python的web server服務(wù)器使,。

最后放送一個我利用gevent實現(xiàn)的一個帶有緩存的dns server

# -*- coding: UTF-8 -*-
import gevent
import dnslib
from gevent import socket
from gevent import event
rev=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
rev.bind(('',53))
ip=[]
cur=0
def preload():
for i in open('ip'):
ip.append(i)
print "load "+str(len(ip))+" ip"
def send_request(data):
global cur
ret=rev.sendto(data,(ip[cur],53))
cur=(cur+1)%len(ip)
class Cache:
def __init__(self):
self.c={}
def get(self,key):
return self.c.get(key,None)
def set(self,key,value):
self.c[key]=value
def remove(self,key):
self.c.pop(key,None)
cache=Cache()
def handle_request(s,data,addr):
req=dnslib.DNSRecord.parse(data)
qname=str(req.q.qname)
qid=req.header.id
ret=cache.get(qname)
if ret:
ret=dnslib.DNSRecord.parse(ret)
ret.header.id=qid;
s.sendto(ret.pack(),addr)
else:
e=event.Event()
cache.set(qname+"e",e)
send_request(data)
e.wait(60)
tmp=cache.get(qname)
if tmp:
tmp=dnslib.DNSRecord.parse(tmp)
tmp.header.id=qid;
s.sendto(tmp.pack(),addr)
def handle_response(data):
req=dnslib.DNSRecord.parse(data)
qname=str(req.q.qname)
print qname
cache.set(qname,data)
e=cache.get(qname+"e")
cache.remove(qname+"e")
if e:
e.set()
e.clear()
def handler(s,data,addr):
req=dnslib.DNSRecord.parse(data)
if req.header.qr:
handle_response(data)
else:handle_request(s,data,addr)
def main():
preload()
while True:
data,addr=rev.recvfrom(8192)
gevent.spawn(handler,rev,data,addr)
if __name__ == '__main__':
main()

這個是直接利用了dict來作為緩存查詢了，在這里還有我將dict換成redis持久化實現(xiàn)的另一個版本(話說redis的python api也可以利用pypi安裝,，pypi（PyPI - the Python Package Index : Python Package Index）這真是個好東西阿),，話說可以將這段代碼放到國外的服務(wù)器上去運行，然后修改dns的地址去指向它,，然后你懂的,。。,。

##################################

gevent相關(guān),，請去官網(wǎng)http://pypi./pypi/gevent#downloads下載gevent模塊

程序及注釋如下：

# -*- coding: cp936 -*-
import gevent
import time

from gevent import event #調(diào)用gevent的event子模塊

#三個進(jìn)程需要定義三個事件event1,event2,event3，來進(jìn)行12,23,31循環(huán)機制,，即進(jìn)程一,，進(jìn)程二，進(jìn)程三順序執(zhí)行
def fun1(num,event1,event2):#固定格式
    i=0
    while i<10: #設(shè)置循環(huán)10次
        i+=1
        time.sleep(1) #睡眠1秒
        print'進(jìn)程一：111111111'
        event2.set() #將event2值設(shè)為True
        event1.clear()#將event1值設(shè)為False
        event1.wait()#event1等待,，其值為True時才執(zhí)行

def fun2(num,event2,event3):
    i=0
    while i<10:
        i+=1
        time.sleep(1)
        print'進(jìn)程二：222222222'
        event3.set()#將event3值設(shè)為True
        event2.clear()#將event2值設(shè)為False
        event2.wait()#event2等待,，其值為True時才執(zhí)行

def fun3(num,event3,event1):
    i=0
    while i<10:
        i+=1
        time.sleep(1)
        print'進(jìn)程三：333333333'
        event1.set()
        event3.clear()
        event3.wait()

if __name__=="__main__": #執(zhí)行調(diào)用格式
    act1=gevent.event.Event() #調(diào)用event中的Event類,用act1表示
    act2=gevent.event.Event()
    act3=gevent.event.Event()
    #三個進(jìn)程，act1,act2,act3
    Gevents=[] #建立一個數(shù)列,，用來存和管理進(jìn)程
    g=gevent.Greenlet(fun1,1,act1,act2) #調(diào)用gevent中的Greenlet子模塊,，用Greenlet創(chuàng)建進(jìn)程一
    g.start()
    print'進(jìn)程一啟動：'
    Gevents.append(g) #將進(jìn)程一加入到Gevents數(shù)列

    g=gevent.Greenlet(fun2,2,act2,act3)
    g.start()
    print'進(jìn)程二啟動：'
    Gevents.append(g)

    g=gevent.Greenlet(fun3,3,act3,act1)
    g.start()
    print'進(jìn)程三啟動：'
    print'所有進(jìn)程都已啟動！'
    Gevents.append(g)

gevent.joinall(Gevents) #調(diào)用Greenlet中的joinall函數(shù),，將Gevents的進(jìn)程收集排列

##################################

看看Gevent,。
您可以創(chuàng)建幾個 Greenlet 對象為幾個任務(wù)。
每個 greenlet 是綠色的線程,。

from gevent import monkey monkey.patch_all() import gevent from gevent import Greenlet class Task(Greenlet): def __init__(self, name): Greenlet.__init__(self) self.name = name def _run(self): print "Task %s: some task..." % self.name t1 = Task("task1") t2 = Task("task2") t1.start() t2.start() # here we are waiting all tasks gevent.joinall([t1,t2])

##################################

關(guān)于gevent

首先,，gevent是一個網(wǎng)絡(luò)庫：libevent是一個事件分發(fā)引擎，greenlet提供了輕量級線程的支持,。所以它不適合處理有長時間阻塞IO的情況,。

gevent就是基于這兩個東西的一個專門處理網(wǎng)絡(luò)邏輯的并行庫。

1. gevent.spawn啟動的所有協(xié)程,，都是運行在同一個線程之中,，所以協(xié)程不能跨線程同步數(shù)據(jù)。

2. gevent.queue.Queue 是協(xié)程安全的,。

3. gevent啟動的并發(fā)協(xié)程,，具體到task function,，不能有長時間阻塞的IO操作。因為gevent的協(xié)程的特點是,，當(dāng)前協(xié)程阻塞了才會切換到別的協(xié)程,。

如果當(dāng)前協(xié)程長時間阻塞，則不能顯示（gevent.sleep(0),，或隱式,，由gevent來做）切換到別的協(xié)程。導(dǎo)致程序出問題,。

4. 如果有長時間阻塞的IO操作,，還是用傳統(tǒng)的線程模型比較好。

5. 因為gevent的特點總結(jié)是：事件驅(qū)動+協(xié)程+非阻塞IO,，事件驅(qū)動值得是libvent對epool的封裝,，來基于事件的方式處理IO。

協(xié)程指的是greenlet,，非阻塞IO指的是gevent已經(jīng)patch過的各種庫,，例如socket和select等等。

6. 使用gevent的協(xié)程,，最好要用gevent自身的非阻塞的庫,。如httplib, socket, select等等。

7. gevent適合處理大量無阻塞的任務(wù),，如果有實在不能把阻塞的部分變?yōu)榉亲枞俳唤ogevent處理,，就把阻塞的部分改為異步吧。

##################################

gevent注意事項

1. gevent.server.StreamServer 會針對每個客戶端連接啟動一個greenlet處理,，要注意的是,，如果不循環(huán)監(jiān)聽( 阻塞在read )，

每個greenlet會在完成后立即退出,，從而導(dǎo)致客戶端退出( 發(fā)送FIN_ACK給客戶端 ),。這個問題折騰了一晚上，終于弄明白了,?？拥　?。,。

2. 要非常仔細(xì)的檢查，greenlet處理的代碼,，發(fā)現(xiàn)有可能阻塞IO的地方,，盡量用gevent提供的庫。

3. 一些第三方庫隱藏了自己的實現(xiàn)( 通常是直接封裝C庫）,，要使得gevent兼容它們,，可以用monkey_patch，但不保證全部管用,。

4. 最后最后的一點,，gevent的greenlet性能非常高，所以如果是用它作為并發(fā)的client端,，那么一定要注意,，你的server端處理速度一定要足夠快！

否則你的客戶端代碼會因為服務(wù)端的慢速,，而失去了greenlet的優(yōu)勢,。。,。

####################################

安裝 libevent:apt-get install libevent-dev

安裝python-dev:apt-get install python-dev

安裝greenlet:easy_install greenlet

安裝gevent:easy_install gevent

一個小測試,測試gevent 的任務(wù)池

[python] view plaincopy

from gevent import pool
g = pool.Pool()
def a():
for i in xrange(100):
g.spawn(b)
def b():
print 'b'
g.spawn(a)
g.join()

以上內(nèi)容轉(zhuǎn)自互聯(lián)網(wǎng)：http://www./archives/1522

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點,。請注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購買等信息，謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,，請點擊一鍵舉報。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： java_laq小館 > 《Python》

舉報/認(rèn)領(lǐng)