為了提高性能,幾乎所有互聯(lián)網(wǎng)應(yīng)用都有緩存機(jī)制,,其中Memcache是使用非常廣泛的一個(gè)分布式緩存系統(tǒng),。眾所周知,LAMP是非常經(jīng)典的Web架構(gòu)方式,,但是隨著Nginx的 成熟,,越來(lái)越多的系統(tǒng)開(kāi)始轉(zhuǎn)型為L(zhǎng)NMP(Linux+Nginx+MySQL+PHP with fpm),,這是因?yàn)镹ginx采用基于事件機(jī)制的I/O多路復(fù)用思想設(shè)計(jì),在高并發(fā)情況下其性能遠(yuǎn)遠(yuǎn)優(yōu)于默認(rèn)采用prefork模式的Apache,,另 外,,相對(duì)于Apache,Nginx更輕量,,同時(shí)擁有大量?jī)?yōu)秀的擴(kuò)展模塊,,使得在Nginx上可以實(shí)現(xiàn)一些美妙的功能。 傳統(tǒng)上,,PHP中使用memcache的方法是使用php-memcache或php-memached擴(kuò)展操作memcache,,然而在Nginx上有構(gòu)建更高效緩存機(jī)制的方法,本文將首先介紹這種機(jī)制,,然后介紹具體的操作步驟方法,,最后將對(duì)這種機(jī)制和傳統(tǒng)的PHP操作memcache的性能進(jìn)行一個(gè)benchmark,。 Nginx的Memc和SR Cache模塊緩存策略的改進(jìn)我們知道,,Nginx的核心設(shè)計(jì)思想是事件驅(qū)動(dòng)的非阻塞I/O。Nginx被設(shè)計(jì)為可以配置I/O多路復(fù)用策略,,在Unix系統(tǒng)中傳統(tǒng)的多路復(fù)用是 采用select或poll,,但是這兩個(gè)方法的問(wèn)題是隨著監(jiān)聽(tīng)socket的增加,性能會(huì)下降,,因?yàn)樵趌inux內(nèi)核中是采用輪詢的方式判斷是否可以觸發(fā) 事件,,換句話說(shuō)算法的復(fù)雜度為O(N),而在較新的linux內(nèi)核中引入了復(fù)雜度為O(1)的epoll,,因此Nginx在Linux下默認(rèn)采用 epoll,,而在FreeBSD下默認(rèn)采用kqueue作為I/O策略。 即便是這樣,,傳統(tǒng)的緩存策略仍可能造成效率低下,,因?yàn)閭鹘y(tǒng)上是通過(guò)PHP操作memcache的,要執(zhí)行PHP代碼,,Nginx就必然要和 FastCGI通信,,同時(shí)也要進(jìn)入PHP的生命周期,因此SAPI,、PHP Core和Zend Engine的一系列邏輯會(huì)被執(zhí)行,。更糟糕的是,fpm和PHP可能會(huì)阻塞,,因此破壞了Nginx的非阻塞性,。下圖展示了在memcache命中時(shí)整個(gè)處理過(guò)程。 可以看到,,即使memcache命中,,還是要進(jìn)入PHP的生命周期,。我們知道,目前很多互聯(lián)網(wǎng)應(yīng)用都使用RESTful規(guī)范進(jìn)行設(shè)計(jì),,在 RESTful應(yīng)用下,,普遍使用uri和查詢參數(shù)作為緩存的key,因此一種更高效的緩存策略是Nginx直接訪問(wèn)memcache,,并用$uri 和$args等Nginx內(nèi)置變量設(shè)定緩存key規(guī)則,,這樣,當(dāng)緩存命中時(shí),,Nginx可以跳過(guò)通過(guò)fastcgi和PHP通信的過(guò)程,,直接從 memcache中獲取數(shù)據(jù)并返回。memc-nginx和srcache-nginx正是利用這種策略提高了緩存的效率,。下圖是這種高效緩存策略的示意 圖(當(dāng)memcache命中時(shí)),。 模塊介紹memc-nginx和srcache-nginx模 塊均為前淘寶工程師agentzh(章亦春)開(kāi)發(fā)。其中memc模塊擴(kuò)展了Nginx標(biāo)準(zhǔn)的memcache模塊,,增加了set,、add、delete等 memcache命令,,而srcache則是為location增加了透明的基于subrequest的緩存層,。兩者配合使用,可以實(shí)現(xiàn)上一節(jié)提到的高效 緩存機(jī)制,。關(guān)于兩個(gè)模塊的詳細(xì)信息可以參考它們Nginx官網(wǎng)的wiki(memc wiki,,srcache wiki)頁(yè)。 安裝及配置下面以LNMP環(huán)境介紹如何使用這兩個(gè)模塊構(gòu)建緩存層,。 因?yàn)镹ginx并不支持模塊動(dòng)態(tài)加載,,所以要安裝新的模塊,必須重新編譯Nginx,。首先下載兩個(gè)模塊(memc下載地址,,srcache下載地址),另外,,為了發(fā)揮出緩存的最大性能,,建議將memcache的upstream配置為keep-alive,為了支持upstream的keep-alive需要同時(shí)安裝http-upstream-keepalive-module,。 將模塊下載并解壓到合適的目錄,,這里我Nginx使用的版本是1.0.4,與相關(guān)模塊一起解壓到了/home/zhangyang/downloads,,如下圖所示,。 其中紅框框起來(lái)的是我們需要用到的模塊。進(jìn)入nginx目錄,,執(zhí)行下列命令:
這里我將nginx安裝到/usr/local/nginx下,,你可以根據(jù)自己的需要更改安裝路徑,,另外,我只列出了本文必要的configure命令,,你也可以增加需要的configure選項(xiàng),。 然后需要對(duì)nginx進(jìn)行配置,nginx默認(rèn)主配置文件放在安裝目錄的conf下,,例如我的主配置文件為/usr/local/nginx/conf/nginx.conf,。 這里我只貼出相關(guān)的配置:
下面解釋一下其中幾個(gè)點(diǎn)。 上文說(shuō)過(guò),,memc-nginx是一個(gè)標(biāo)準(zhǔn)的upstream模塊,,因此首先需要定義memcache的upstream。這里我在本機(jī)上啟動(dòng)了一 個(gè)memcache服務(wù),,端口為默認(rèn)的11211,,keepalive指令是http-upsteram-keepalive-module提供的功能, 這里我們最大保持512個(gè)不立即關(guān)閉的連接用于提升性能,。 下面是為memc-nginx-module配置location,,我們配置為/memc,所有請(qǐng)求都通過(guò)請(qǐng)求這個(gè)location來(lái)操作 memcache,,memc-nginx-module存取memcache是基于http method語(yǔ)義的,,使用http的GET方法表示get,、PUT方法表示set,、DELETE方法表示delete。這里我們將/memc設(shè)為internal表示只接受內(nèi)部訪問(wèn),,不接收外部http請(qǐng)求,,這是為了安全考慮,當(dāng)然如果需要通過(guò)http協(xié)議開(kāi)放外部訪問(wèn),,可以去掉internal然后使用deny和allow指 令控制權(quán)限,。比較重要的是$memc_key這個(gè)變量,它表示以什么作為key,,這里我們直接使用Nginx內(nèi)置的$query_string來(lái)作為 key,,$memc_exptime表示緩存失效時(shí)間,以秒記,。這里統(tǒng)一設(shè)為300(5分鐘),,在實(shí)際應(yīng)用中可以根據(jù)具體情況為不同的內(nèi)容設(shè)置不同的過(guò)期 時(shí)間。 最后我們?yōu)椤皛 .php$”這個(gè)location配置了緩存,,這表示所有以“.php”結(jié)尾的請(qǐng)求都會(huì)結(jié)果被緩存,,當(dāng)然這里只是示例需要,實(shí)際中一般不會(huì)這么配,,而是為特定需要緩存的location配置緩存,。 srcache_fetch表示注冊(cè)一個(gè)輸入攔截處理器到location,,這個(gè)配置將在location進(jìn)入時(shí)被執(zhí)行;而 srcache_store表示注冊(cè)一個(gè)輸出攔截器到location,,當(dāng)location執(zhí)行完成并輸出時(shí)會(huì)被執(zhí)行,。注意srcache模塊實(shí)際可以與 任何緩存模塊進(jìn)行配合使用,而不必一定是memc,。這里我們以$uri$args作為緩存的key,。 經(jīng)過(guò)上述配置后,相當(dāng)于對(duì)Nginx增加了如下邏輯:當(dāng)所請(qǐng)求的uri以“.php”結(jié)尾時(shí),,首先到memcache中查詢有沒(méi)有 以$uri$args為key的數(shù)據(jù),,如果有則直接返回;否則,,執(zhí)行l(wèi)ocation的邏輯,,如果返回的http狀態(tài)碼為200,則在輸出前 以$uri$args為key,,將輸入結(jié)果存入memcache,。 更多配置上一節(jié)給出了使用memc和srcache構(gòu)建緩存層的最基本方法,實(shí)際應(yīng)用中可能需要更多靈活的配置,,例如為不同的location配置不同的緩 存參數(shù),,根據(jù)返回內(nèi)容而不是返回的http狀態(tài)碼確定是否緩存等等??梢杂泻芏嗟姆椒▽?shí)現(xiàn)這些需求,,例如,srcache還支持兩個(gè)指 令:srcache_fetch_skip和srcache_fetch_skip,,這兩個(gè)指令接受一個(gè)參數(shù),,當(dāng)參數(shù)已定義且非0時(shí),則進(jìn)行相應(yīng)操作,,否 則不進(jìn)行,。例如,如果配置了srcache_fetch_skip $skip,,這條指令,,那么只有當(dāng)$skip的值為非0時(shí),才將結(jié)果緩存,,如果配合ngx_lua模塊的set_by_lua指令,,則可以實(shí)現(xiàn)復(fù)雜的緩存控制。如:
這表示對(duì)/xxxx這個(gè)location的訪問(wèn),,只有存在cookie “foo”且值為“bar”時(shí)緩存機(jī)制才起作用,。關(guān)于ngx_lua的更多內(nèi)容請(qǐng)參考其主頁(yè)。 另外,我最近在春哥(章亦春在淘寶的昵稱)的微博上看到他目前正在完善srcache的功能,,為其實(shí)現(xiàn)更多RFC2616的緩存行為標(biāo)準(zhǔn),。關(guān)于這個(gè)模塊的最新動(dòng)態(tài)可以關(guān)注其github主頁(yè)。 Benchmark下面對(duì)使用memc和srcache構(gòu)建的緩存機(jī)制進(jìn)行一個(gè)簡(jiǎn)單的benchmark,,并與使用PHP操作memcache的策略進(jìn)行一個(gè)對(duì)比,。為了簡(jiǎn)單起見(jiàn),我們的測(cè)試PHP腳本不去訪問(wèn)I/O,,而僅僅是調(diào)用phpinfo函數(shù)輸出PHP相關(guān)信息,。 測(cè)試一共分三組進(jìn)行:第一組在Nginx和PHP中均不開(kāi)啟緩存,第二組僅使用PHP memcache緩存,,第三組僅使用Nginx memcache緩存,。三組都用ab程序去壓,并發(fā)數(shù)為20,,請(qǐng)求次數(shù)為10000,。 這里的測(cè)試環(huán)境是我的一個(gè)虛擬機(jī),操作系統(tǒng)為Ubuntu10,,內(nèi)存512M,。Nginx采用epoll,單worker進(jìn)程,,memcache最大并發(fā)數(shù)為1024,,最大使用內(nèi)存64m。 不開(kāi)啟緩存這一組我們不開(kāi)啟緩存,,PHP程序非常簡(jiǎn)單:
測(cè)試結(jié)果如下: PHP memcache緩存策略第二組我們用PHP操作緩存,,測(cè)試腳本為:
測(cè)試結(jié)果如下: Nginx memcache緩存策略最后,我們將PHP腳本回歸到不使用緩存的版本,,并配置好memc和srcache緩存機(jī)制,。測(cè)試結(jié)果如下: 結(jié)果對(duì)比分析為了直觀,,我取“每秒處理請(qǐng)求數(shù)”,、“平均每個(gè)請(qǐng)求處理時(shí)間”和“吞吐率”作為評(píng)價(jià)指標(biāo),制作了一張圖表,。 我想看到圖表,,結(jié)論已毋需我多言。在各項(xiàng)指標(biāo)上使用memc和srcache構(gòu)建的緩存機(jī)制都大大優(yōu)于使用PHP操作memcache,。其中每秒處理請(qǐng)求數(shù)(并發(fā)度)和吞吐率都是其9倍左右,,而平均個(gè)請(qǐng)求所用時(shí)間僅有傳統(tǒng)策略的1/8。 這里要特別說(shuō)明一下,,這里之所以PHP memcache策略比不使用緩存優(yōu)勢(shì)不明顯,,是因?yàn)槲覀兊腜HP腳本不涉及I/O操作,如果其中存在如數(shù)據(jù)庫(kù)存取,PHP memcache的優(yōu)勢(shì)還是有的,,但不論如何,,Nginx memcache策略在性能上的優(yōu)勢(shì)是其無(wú)法比擬的。 另外,,除了性能優(yōu)勢(shì)外,,使用這種策略還可以簡(jiǎn)化PHP邏輯,因?yàn)榫彺孢@一層都放在Nginx中了,,PHP就從緩存操作中解放了出來(lái),,因此是一舉多得。 如果你的系統(tǒng)也構(gòu)建在LNMP上(或LAMP)上,,不妨使用本文提到的方法替代傳統(tǒng)的緩存策略,,盡情享受性能上的提升。 |
|