Testing In Production 的概念大約出現(xiàn)3年前,，那時候Web Service正在風(fēng)靡Internet,，各種系統(tǒng)都走向更加可擴展的架構(gòu)，這使得A/B Testing和后期的數(shù)據(jù)分析更加容易,。同時,，整個互聯(lián)網(wǎng)應(yīng)用對用戶體驗提出了更高的要求，對算法的精準性的要求更加嚴格,。另外,，軟件開發(fā)的節(jié)奏明顯加快，這使得測試無法在發(fā)布前做的非常完善,?？旃?jié)奏的軟件發(fā)布，對測試有了更高的要求,?！跋劝l(fā)布，后測試”成為一種加快發(fā)布節(jié)奏的一種必要的方法,。

    動物學(xué)家達爾文說過 ”世界上進化下來的動物,，并不是那些最強大的動物，也不是那些最聰明的動物,，而是那些最能夠適應(yīng)變化（Responsive to change）的動物”,，例如說老鼠，人,，螞蟻等等,。軟件系統(tǒng)也一樣，能夠傳承發(fā)揚的軟件,，能夠快速適應(yīng)變化化,。

    TiP的核心思想就是通過在生產(chǎn)環(huán)境里面測試，最小化產(chǎn)品風(fēng)險,，加快發(fā)布節(jié)奏,。TiP通過暴露新代碼給有限用戶，減少缺陷可能帶來的負面影響,，通過在產(chǎn)品中暴露這些新代碼,，可以快速獲得這些新代碼的反饋，這些反饋來之于真實的用戶，而不是少量的測試人員和有限的測試用例,。另外,，一旦發(fā)現(xiàn)新代碼有嚴重的缺陷，那么TiP需要快速修復(fù)這些缺陷,，通過發(fā)布新版本或則滾回到老版本,。

    那么這是不是對軟件質(zhì)量的一種妥協(xié)呢？ 我覺得不是,，相反在生產(chǎn)環(huán)境中測試可以更好的滿足用戶,，它是傳統(tǒng)發(fā)布前測試的一個積極的補充。例如,，TiP可以幫我們提高測試覆蓋率,，找到一些平時無法測試到的場景。

    我相信,，所有的互聯(lián)網(wǎng)軟件都需要支持TiP,，這是互聯(lián)網(wǎng)軟件的特性決定的：靈活的軟件架構(gòu)，快速的發(fā)布周期,。

    考慮一下幾個問題可以幫助我們思考什么類型的軟件最適合TiP方法,。

    用戶體驗和經(jīng)濟利益影響的程度

    如果產(chǎn)品有問題，是否有能力快速檢查產(chǎn)品中的問題,，并且快速回退到?jīng)]有問題的版本,？

    軟件發(fā)布的頻率？

    進行TiP 所帶來的成本和收益

    這里有幾個TiP的例子

    1）微軟：在互聯(lián)網(wǎng)的產(chǎn)品開發(fā)過程中,，微軟也大量利用了TiP的方法

    （a）很多用戶場景的改進,，都是通過A/B測試獲得最好的效果

    （b）算法實驗，在靈活的平臺中進行算法的調(diào)優(yōu)和篩選

    2）Facebook ： Facebook如何發(fā)布代碼的 Link

    （a）Facebook有多個級別的代碼部署 （內(nèi)部的,，少量外部的,，全部外部的等等），

    （b）如果有問題出現(xiàn),，工程師馬上修復(fù)問題,；然后重新發(fā)布

    （c）Ops負責(zé)部署的實際過程，包括檢測產(chǎn)品的健康狀態(tài)（錯誤日志,，CPU,，內(nèi)存，甚至包括用戶的行為變化等）

    3）Google： 非常善于做A/B測試

    （a）谷歌在算法改進方面,，就是利用在產(chǎn)品中的實驗平臺,。一個搜索結(jié)果中可能包括多個算法的結(jié)果，另外不同的搜索可能觸發(fā)不同的算法,。最后通過用戶的反饋,，對算法進行評價和挑選,。

    一些參考資料：

    人物：

    Seth Eliot 微軟測試經(jīng)理，Testing in Production的倡導(dǎo)者 Blog

    參考文章：

    1）Testing in Production,，Your key to Engaging Customers,，Seth Eliot

    2）Why testing in production is a common and costly technical malpractice

    我總結(jié)一下他的主要觀點：

    1）需要一個專用的測試環(huán)境進行測試，并且盡量模擬產(chǎn)品環(huán)境,，否則容易引起產(chǎn)品的災(zāi)難性

    2）在生產(chǎn)環(huán)境中測試的復(fù)雜性和不可控性

    3）注意：他所談的更多的傳統(tǒng)的軟件企業(yè)（ERP,，MIS），并非真正的需要快節(jié)奏的互聯(lián)網(wǎng)企業(yè),。