最近,，前Facebook工程師覃超一篇關于2010年到2015年Facebook改版網站首頁歷程的文章受到極大關注,。按照他的記錄，2012年,，當時的Facebook產品副總裁帶領一支公司內部頂尖高手組成的團隊,，歷時大半年開發(fā)了新的網站首頁，進行了重大的改版與更新,。隨后,，F(xiàn)acebook對該首頁進行了A/B測試：當測試到5%用戶群的時候，各項數(shù)據(jù)指標都在下滑,；當測試到12%用戶群的時候,，下滑趨勢依舊明顯,。于是，F(xiàn)acebook不得不放棄了這支30余人團隊近一年努力的結果,。

A/B測試已經是一項成熟的測試、開發(fā)方法,，被Google的開發(fā)團隊普遍采用,。業(yè)內人士告訴鈦媒體記者，Google廣告產品的每一個新改動也要經過一種嚴格的在線測試來驗證效果,，在確保搜索體驗的同時提高廣告的轉化率,，這種基于數(shù)據(jù)的互聯(lián)網產品開發(fā)和運營，可以大幅度加速創(chuàng)新,、改善用戶體驗,，起到事半功倍的效果。前Google廣告質量控制部門工程師王曄介紹,，A/B測試優(yōu)化每年能為Google帶來100億美元營收的增長,。

簡單來說，A/B測試就是對一個頁面的A版本和B版本進行測試,，統(tǒng)計哪個版本的點擊率更高,。最為常見的A/B測試形式叫做灰度測試，也就是對一個公司自有的互聯(lián)網用戶群進行1%,、2%,、5%、10%等規(guī)模的用戶測試,，然后選擇測試效果最好的頁面推廣到全用戶群,。

實際上幾乎所有成功的互聯(lián)網公司，都不同程度地采用了A/B測試,，用于網頁的優(yōu)化與點擊率效果提升,。王曄介紹說，Google的各個產品都有成百上千個不同的測試版本同時運行,，試驗數(shù)據(jù)決定了只有少數(shù)改動能最終上線,，這些更好的改動可實現(xiàn)每月約2%的營收提升，最終達到20%的年化增長,。

而Facebook的經歷,，更充分說明了在互聯(lián)網的世界里沒有常勝將軍，經驗與直覺都不是互聯(lián)網世界的游戲規(guī)則,。只有通過不斷的測試和反復的數(shù)據(jù)分析,，才能證明一個觀點或判斷是否正確。從Facebook的例子就可以看出,，唯快不破和不斷試錯的背后,，其實是“數(shù)據(jù)說話”的思維,，A/B測試就是一個讓數(shù)據(jù)說話的利器。

A/B測試聽起來很簡單,，但其實是技術支撐和數(shù)據(jù)思維相結合的跨界領域。

記者在硅谷采訪了美國A/B測試創(chuàng)業(yè)公司Optimizely的產品經理Byron Jones,，他介紹了A/B測試通用的五步法：分析,、假設、構建測試,、運行測試,、效果評估。其中,，分析,、假設和構建測試屬于數(shù)據(jù)分析階段，運行測試及效果評估屬于技術支撐范疇,，這二者相互配合,、相輔相承。

在數(shù)據(jù)分析方面,，A/B測試主要對采樣用戶群進行數(shù)學假設：根據(jù)統(tǒng)計學原理與算法,，找出最具有統(tǒng)計意義的采樣用戶群特點、規(guī)模,、實驗組數(shù)和次數(shù)等,。在技術支撐方面，A/B測試主要基于大規(guī)?；ヂ?lián)網流量分割技術,，不同的網頁針對不同的用戶群進行劃分，然后通過服務器和網絡控制完成流量分割,，達到向不同用戶傳送不同網頁的目的,。

在數(shù)據(jù)分析方面，還有一個非常有意思的辛普森悖論,。形象的說,，就是當向50%的女性用戶推行某個促銷手段時，銷售獲得了增加,；當向50%的男性用戶推行同樣的促銷手段時,，銷售也獲得了增加；但當把這兩個人群合并,，再推行一樣的促銷手段時,，銷售反而下降了。因此,，需要通過相關數(shù)學處理算法,，盡量消除辛普森悖論,。

互聯(lián)網公司的A/B測試大多都由內部團隊負責,，以Google為代表的規(guī)?；蛯I(yè)化A/B測試逐漸成熟。隨著互聯(lián)網的高速發(fā)展,，越來越多的企業(yè)需要開展互聯(lián)網服務,，全部采用自建A/B測試團隊顯然成本很高，于是就出現(xiàn)了基于SaaS模式的第三方專業(yè)化A/B測試公司,。

有Google工程師背景的兩個團隊,，分別都在做類似的服務類創(chuàng)業(yè)公司：其中一個，在美國創(chuàng)建了Optimizely公司,，目前已經完成了C輪融資,，公司成立五年來總共完成了1.45億美元的融資。Optimizely的投資人包括著名的硅谷風投A16Z,、Bain Capital Ventures,、Salesforce Ventures等，該公司現(xiàn)有400多名員工,，業(yè)務發(fā)展非常迅猛,。

而另一個團隊則回到中國，在去年創(chuàng)建了吆喝科技,，這就是王曄的團隊,。王曄曾在清華和耶魯讀書的時候，參與過中國下一代互聯(lián)網（CNGI）和網絡APP流量優(yōu)化（ALTO）等大型項目,，在耶魯,、微軟研究院以及NEC北美實驗室參與過多項技術創(chuàng)新課題。2012年到2014年,，王曄在美國Google總部的廣告質量控制部門工作,。2014年，他看到了國內互聯(lián)網+的熱潮后決定回國創(chuàng)業(yè),，把成熟的A/B測試技術以公有云的方式提供給國內企業(yè)和開發(fā)者,。

吆喝科技的產品叫做AppAdhoc Optimizer，這是基于A/B測試的優(yōu)化平臺,，于2015年4月全面上線,，目前已經有100多家試用客戶。吆喝科技支持試驗流量動態(tài)控制,、多變量組合試驗,、大量并行試驗、針對特定人群的定向試驗等,，其SDK不僅支持Web（HTML5）端A/B測試,，還支持原生移動APP（iOS,、Android）端。吆喝科技目前的投資機構包括峰瑞資本,、極客邦等,。

2016年將成為互聯(lián)網+行動的關鍵之年，無論傳統(tǒng)企業(yè)的互聯(lián)網服務,，還是眾多的O2O和電商創(chuàng)業(yè)公司,，都可以通過A/B測試這樣的專業(yè)工具，研究在線用戶行為,、提高運營效率，避免經驗主義和直覺式思維的陷阱,。

A/B測試告訴我們,，互聯(lián)網+時代“領導說了”不算數(shù)，“數(shù)據(jù)說話”才算數(shù),。（文/ITValue記者吳寧川 ）