你玩抖音嗎,？相信你也在各大網(wǎng)購(gòu)平臺(tái)看見(jiàn)過(guò)各種“抖音同款”商品，甚至看見(jiàn)過(guò)大街小巷中面包店,、飲品店里的“抖音面包”,、“抖音奶茶”。

從2017年下半年開(kāi)始,，抖音就呈現(xiàn)出現(xiàn)象級(jí)爆發(fā)式增長(zhǎng),，現(xiàn)在可以說(shuō)是增長(zhǎng)能力最強(qiáng)的公司之一，甚至讓騰訊感到危機(jī),。據(jù)悉,。今日頭條的母公司字節(jié)跳動(dòng)估值已經(jīng)達(dá)到750億美元（百度于12月初在公開(kāi)市場(chǎng)的市值約為650億美元），這家公司有一個(gè)特質(zhì)就是喜愛(ài)A/B 測(cè)試,。

字節(jié)跳動(dòng)是一個(gè)非常講究實(shí)驗(yàn)、以A/B 測(cè)試驅(qū)動(dòng)科學(xué)增長(zhǎng)的公司,。36Kr曾在一篇報(bào)道中寫道,，“頭條發(fā)布一個(gè)新APP，其名字都必須打N個(gè)包放到各大應(yīng)用市場(chǎng)進(jìn)行多次A/B 測(cè)試才能決定,。張一鳴告訴同事：哪怕你有99.9%的把握那是最好的一個(gè)名字,，測(cè)一下又有神馬關(guān)系呢？”整個(gè)公司從最高管理層張一鳴開(kāi)始就非常注重A/B 測(cè)試,。

同樣,，今日頭條的團(tuán)隊(duì)在起名字的時(shí)候，創(chuàng)始團(tuán)隊(duì)沒(méi)有頭腦風(fēng)暴,，沒(méi)有投票,，沒(méi)有老大拍板兒，他們采用科學(xué)實(shí)驗(yàn)的方式,，通過(guò)數(shù)據(jù)觀測(cè)確定了“今日頭條”這個(gè)名稱,。同樣用這樣的數(shù)據(jù)思維孵化、迭代出了抖音這樣的現(xiàn)象級(jí)產(chǎn)品,，今天我們就來(lái)說(shuō)說(shuō)數(shù)據(jù)分析里很重要的一個(gè)版塊：A/B 測(cè)試,。

一、什么是A/B 測(cè)試

A/B 測(cè)試的概念來(lái)源于生物醫(yī)學(xué)的雙盲測(cè)試,，雙盲測(cè)試中病人被隨機(jī)分成兩組,，在不知情的情況下分別給予安慰劑和測(cè)試用藥,，經(jīng)過(guò)一段時(shí)間的實(shí)驗(yàn)后再來(lái)比較這兩組病人的表現(xiàn)是否具有顯著的差異，從而決定測(cè)試用藥是否真的有效,。

在做產(chǎn)品的過(guò)程中,，A/B 測(cè)試是一種產(chǎn)品優(yōu)化的方法，為同一個(gè)優(yōu)化目標(biāo)制定兩個(gè)方案（比如兩個(gè)頁(yè)面）,，讓一部分用戶使用A 方案,，同時(shí)另一部分用戶使用 B 方案，統(tǒng)計(jì)并對(duì)比不同方案的轉(zhuǎn)化率,、點(diǎn)擊量,、留存率等指標(biāo)，以判斷不同方案的優(yōu)劣并進(jìn)行決策,。

今日頭條團(tuán)隊(duì)在確定自己App名字的時(shí)候,，就是將App Store上各類免費(fèi)榜單的前10名整理出來(lái)，然后根據(jù)名字歸類（朗朗上口白話類,，內(nèi)涵情懷類，模擬特殊聲音類,，公司名+用途類等）,，分析出哪各類數(shù)量占比最高。他們的結(jié)論是朗朗上口的大白話效果最好,。

隨后他們開(kāi)始進(jìn)行分渠道A/B測(cè)試,，確定先驗(yàn)效果類似的發(fā)布渠道，進(jìn)行投放,，在界面功能logo完全一樣的情況下,，統(tǒng)計(jì)各個(gè)渠道的用戶下載和活躍等核心數(shù)據(jù)指標(biāo)，最后測(cè)得“今日頭條”效果最好,。

上面圖示就是一個(gè)典型的A/B測(cè)試范例。在A/B 測(cè)試比較成熟的公司中,，可能并不局限于只有A,、B兩個(gè)版本，可能會(huì)有ABC測(cè)試,、ABCD測(cè)試,，甚至是ABCDE測(cè)試。有一些情況,，可能會(huì)出現(xiàn)比較特殊的A/B 測(cè)試,，比如說(shuō)AAB測(cè)試，因?yàn)樾枰?yàn)證整個(gè)A/B 測(cè)試系統(tǒng)的準(zhǔn)確度,，需要設(shè)置兩個(gè)對(duì)照組,，所以叫AAB測(cè)試,。不管同時(shí)運(yùn)行幾個(gè)實(shí)驗(yàn)，我們都可以將它們統(tǒng)稱為A/B測(cè)試,，英文為AB test,。

2000年Google的工程師第一次將A/B測(cè)試用于測(cè)試搜索結(jié)果頁(yè)展示多少搜索結(jié)果更合適，雖然那次的AB測(cè)試因?yàn)樗阉鹘Y(jié)果加載速度的問(wèn)題失敗了,，但是這次的A/B測(cè)試可以認(rèn)為是Google的第一次AB測(cè)試,。從那以后，A/B測(cè)試被廣泛應(yīng)用于互聯(lián)網(wǎng)公司的優(yōu)化迭代, 每年數(shù)萬(wàn)個(gè)AB實(shí)驗(yàn)被Google,、Amazon,、eBay、阿里等主流互聯(lián)網(wǎng)公司應(yīng)用于線上進(jìn)行UI內(nèi)容優(yōu)化,、算法優(yōu)化,、收益優(yōu)化等方方面面。

二,、為什么要做A/B 測(cè)試

1.先驗(yàn)數(shù)據(jù)與后驗(yàn)數(shù)據(jù)

現(xiàn)在,，企業(yè)幾乎都是利用數(shù)據(jù)驅(qū)動(dòng)來(lái)優(yōu)化自己的產(chǎn)品、運(yùn)營(yíng),、決策,，乃至戰(zhàn)略。具體的數(shù)據(jù)使用方法可以分為后驗(yàn)數(shù)據(jù)和先驗(yàn)數(shù)據(jù)兩類,。

后驗(yàn)數(shù)據(jù)就是指對(duì)過(guò)往采集到的數(shù)據(jù)進(jìn)行挖掘分析,，從中發(fā)現(xiàn)和歸納新的知識(shí)，透過(guò)現(xiàn)象看本質(zhì),。

哈雷彗星的發(fā)現(xiàn),，就是一個(gè)后驗(yàn)數(shù)據(jù)的應(yīng)用案例。1682年有位天文學(xué)家發(fā)現(xiàn)了一顆有著巨大拖尾的星體快速劃過(guò)夜空,。他對(duì)比過(guò)往天文數(shù)據(jù),，發(fā)現(xiàn)1531年和1607年也有類似的觀測(cè)記載。他判斷這些觀測(cè)看到的是同一顆彗星,，并且預(yù)言約76年以后這顆星還會(huì)光顧地球,。事實(shí)真的如此。

在一個(gè)決策完全實(shí)施以前就能得出它實(shí)施后的效果數(shù)據(jù),，這就是先驗(yàn)數(shù)據(jù),。在傳統(tǒng)中國(guó)文化里，我們往往更善于后驗(yàn)數(shù)據(jù),，通過(guò)總結(jié)和歸納得出重要的結(jié)論,。

后驗(yàn)數(shù)據(jù)對(duì)企業(yè)決策很有用，但先驗(yàn)數(shù)據(jù)對(duì)企業(yè)決策可能更有用。現(xiàn)代西方文化更講究“科學(xué)”,，找到了先驗(yàn)數(shù)據(jù)的獲取方法,，那就是做“試驗(yàn)”。設(shè)定一個(gè)合理的小型的試驗(yàn)環(huán)境,，然后將決策想法在這個(gè)環(huán)境中實(shí)施,，得出數(shù)據(jù)化的結(jié)論，最終通過(guò)數(shù)學(xué)方法預(yù)測(cè)出這個(gè)決策想法在真實(shí)環(huán)境中的表現(xiàn),，這就是先驗(yàn)的方法（如圖所示）,。

2.A/B測(cè)試

一個(gè)非常經(jīng)典的先驗(yàn)方法就是今天討論的A/B測(cè)試,。有了A/B測(cè)試,，產(chǎn)品的優(yōu)化過(guò)程就可以看作兩個(gè)階段。

第一個(gè)階段是后驗(yàn)的,，通過(guò)統(tǒng)計(jì)分析目前的用戶行為和系統(tǒng)指標(biāo)來(lái)判斷產(chǎn)品的哪些地方可以做改進(jìn),，比如是注冊(cè)頁(yè)面流失率太高需要優(yōu)化？還是購(gòu)物車報(bào)廢率太高需要改進(jìn),？

第二個(gè)階段就是試驗(yàn),，嘗試改進(jìn)這些產(chǎn)品的薄弱環(huán)節(jié)。比如是不是可以在注冊(cè)流程里增加一個(gè)送優(yōu)惠券環(huán)節(jié),？是不是可以精簡(jiǎn)一下購(gòu)物車付款的流程,？要不要改寫文案？要不要替換圖片,？這就需要對(duì)可能的決策進(jìn)行A/B測(cè)試評(píng)估，只有那些被試驗(yàn)數(shù)據(jù)證明了真正有改進(jìn)效果的那些決策才會(huì)被真正實(shí)施,。

對(duì)國(guó)際頂級(jí)互聯(lián)網(wǎng)公司來(lái)說(shuō),，幾乎所有的產(chǎn)品改動(dòng)都是要經(jīng)過(guò)嚴(yán)格的A/B測(cè)試考驗(yàn)之后才能上線。我們來(lái)看看他們得到的效果：

這是微軟的bing搜索引擎通過(guò)反復(fù)A/B測(cè)試之后的改版結(jié)果,，左邊是老版，右邊是新版,。僅僅從肉眼看來(lái),，幾乎看不出區(qū)別。實(shí)際上就是在顏色上做了一些微調(diào),，結(jié)果右邊版本比左邊版本提升了10,000,000美元的年化營(yíng)收,。

這是亞馬遜購(gòu)物網(wǎng)站推出的一個(gè)信用卡推銷策略,。最早這個(gè)推銷信用卡的廣告出現(xiàn)在用戶選擇購(gòu)物商品的頁(yè)面,，結(jié)果幾乎無(wú)人問(wèn)津，還浪費(fèi)了好幾個(gè)寶貴的商品展示位置；后來(lái)運(yùn)營(yíng)人員想出了一個(gè)策略,，說(shuō)把這個(gè)推銷放在用戶購(gòu)物車結(jié)算的時(shí)候,，結(jié)果A/B測(cè)試顯示這個(gè)改動(dòng)大幅度提高了信用卡申請(qǐng)率，給亞馬遜帶來(lái)了上億美元的營(yíng)收增長(zhǎng),。

說(shuō)到亞馬遜,，有誰(shuí)能想起來(lái)它的“加入購(gòu)物車”按鈕是什么樣式么？它是黃色底色,，黑色邊框,，綠色字體……從設(shè)計(jì)美學(xué)來(lái)看，是很怪異很難看的,。但是反復(fù)A/B測(cè)試會(huì)發(fā)現(xiàn)這個(gè)樣式卻是用戶購(gòu)買轉(zhuǎn)化率最高的一個(gè)設(shè)計(jì),。數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化，結(jié)果就是決策要聽(tīng)數(shù)據(jù)的,，而不是聽(tīng)藝術(shù)家或者老板的,。

這是一個(gè)互聯(lián)網(wǎng)教育網(wǎng)站,，在這個(gè)主要的學(xué)生注冊(cè)頁(yè)面,，通過(guò)反復(fù)A/B測(cè)試試驗(yàn)，發(fā)現(xiàn)一個(gè)很好的頁(yè)面排版,，可以提升學(xué)生注冊(cè)率40%以上,。這個(gè)排版和常用的課程分類不同，將課程按照上課熱門程度排序,，可能刺激了很多潛在學(xué)生的競(jìng)爭(zhēng)心理,。“我不知道該上什么課,，但是大家都學(xué)的課我不能不學(xué)”,。用戶可能是這么想的。當(dāng)然,，這是馬后炮,。還是A/B測(cè)試能告訴我們到底什么排版更好。

這個(gè)電商網(wǎng)站賣防水耳機(jī),，原來(lái)排版是Call-To-Action按鈕在左文案在右，后來(lái)調(diào)換了位置,，A/B測(cè)試發(fā)現(xiàn)這個(gè)簡(jiǎn)單的改動(dòng)可以提升銷量35%以上,。

三、如何做A/B 測(cè)試

AB測(cè)試是一個(gè)反復(fù)迭代優(yōu)化的過(guò)程,，它的基本步驟如下圖所示可以劃分為：

1.設(shè)定項(xiàng)目目標(biāo)即AB測(cè)試的目標(biāo)

2.設(shè)計(jì)優(yōu)化的迭代開(kāi)發(fā)方案，完成新模塊的開(kāi)發(fā)

3.確定實(shí)施的版本以及每個(gè)線上測(cè)試版本的分流比例

4.按照分流比例開(kāi)放線上流量進(jìn)行測(cè)試

5.收集實(shí)驗(yàn)數(shù)據(jù)進(jìn)行有效性和效果判斷

6.根據(jù)試驗(yàn)結(jié)果確定發(fā)布新版本、調(diào)整分流比例繼續(xù)測(cè)試或者在試驗(yàn)效果未達(dá)成的情況下繼續(xù)優(yōu)化迭代方案重新開(kāi)發(fā)上線試驗(yàn)

從對(duì)AB測(cè)試的定義中可以看出AB測(cè)試強(qiáng)調(diào)的是同一時(shí)間維度對(duì)相似屬性分組用戶的測(cè)試,，時(shí)間的統(tǒng)一性有效的規(guī)避了因?yàn)闀r(shí)間,、季節(jié)等因素帶來(lái)的影響，而屬性的相似性則使得地域,、性別,、年齡等等其他因素對(duì)效果統(tǒng)計(jì)的影響降至最低。

四,、A/B 測(cè)試的應(yīng)用場(chǎng)景

A/B測(cè)試在移動(dòng)應(yīng)用中的四大應(yīng)用場(chǎng)景,，分別是App、落地頁(yè),、后端算法和小程序,。APP端是目前移動(dòng)互聯(lián)網(wǎng)增長(zhǎng)的主要載體，PC或H5(如常見(jiàn)的朋友圈刷屏活動(dòng))或者廣告投放落地頁(yè)面等則可以歸為落地頁(yè),，還有后端算法場(chǎng)景,，如推薦算法、廣告算法,、千人千面等等,。目前增長(zhǎng)最快的應(yīng)用場(chǎng)景，則是小程序,。

在不同的場(chǎng)景，A/B測(cè)試的側(cè)重點(diǎn)也有不同,，但最核心目標(biāo)仍然都是圍繞業(yè)務(wù)的增長(zhǎng)展開(kāi),，也就是大家所熟悉的“北極星指標(biāo)”（感興趣的可以閱讀之前的文章《你真的懂增長(zhǎng)黑客嗎？美國(guó)硅谷增長(zhǎng)專家教你如何做增長(zhǎng)》）,，或者是 DAU,、MAU等在A/B測(cè)試中設(shè)定的具體目標(biāo)，下面我們分別從轉(zhuǎn)化率,、激活,、內(nèi)容利用率來(lái)舉例說(shuō)明,。

1.提高轉(zhuǎn)化率

我們以Frank&Oak為例,，這是一家男裝電商，他們根據(jù)用戶個(gè)人興趣和操作行為,，為用戶打造定制化推薦的購(gòu)物體驗(yàn),，這是他和其他電商網(wǎng)站相比的亮點(diǎn)。但是和國(guó)內(nèi)的美麗說(shuō)類似,，只有注冊(cè)賬號(hào),、登錄app，才能夠獲得這種個(gè)性化體驗(yàn)。

因?yàn)槭欠褡?cè)登錄是用戶轉(zhuǎn)化的第一個(gè)關(guān)鍵步驟,，F(xiàn)rank&Oak首先針對(duì)注冊(cè)流程優(yōu)化進(jìn)行了A/B測(cè)試,。他們先嘗試改變了登錄模塊的位置、表單交互,，之前他們的第三方登錄只支持facebook賬號(hào),。在這個(gè)版本他們想測(cè)試增加一個(gè)google賬號(hào)登錄，看看是否會(huì)提高注冊(cè)率,，最終的測(cè)試改動(dòng)如下圖：

通過(guò)A/B測(cè)試結(jié)果顯示，增加了google登陸按鈕之后,，移動(dòng)注冊(cè)量提高了150%,。

雖然Frank&Oak只嘗試了幾次就獲得了巨大的成功，你可能需要調(diào)整很多次才能夠找到奏效的方法,。下面是一些你可以用來(lái)測(cè)試著陸頁(yè)的著眼點(diǎn),，幫助你引導(dǎo)用戶從搜索商品到完成注冊(cè)。分別為：①對(duì)登錄行為進(jìn)行漏斗模型分析,；②信息表單的填寫,；③文本和圖像的引導(dǎo)；④更多的登錄方式,。

2.激活

當(dāng)你的用戶完成注冊(cè)環(huán)節(jié)時(shí),，你需要去激活他們。商業(yè)上來(lái)說(shuō),，這意味著促使用戶盡可能快去買東西,。為了完成這個(gè)目標(biāo)，研究顯示你需要在最開(kāi)始的兩個(gè)流程內(nèi)讓他們完成購(gòu)買,，不然很可能他們就再也不會(huì)回來(lái)了,。

例如，Karmaloop在分析用戶激活數(shù)據(jù)的時(shí)候發(fā)現(xiàn)：先將物品放到了心愿單的用戶比那些將物品放入購(gòu)物車的用戶的完成購(gòu)買率低,。Karmaloop分析了這個(gè)情況以后做了一個(gè)嘗試：在設(shè)計(jì)上弱化“心愿單”按鈕的存在感,。

降低用戶與心愿單之間的交互使得Karmaloop更好的抓住了用戶的購(gòu)物意圖,。這個(gè)簡(jiǎn)單的測(cè)試提高了用戶活躍度,，提升了35%的銷售額。有時(shí)候你不需要完全刪除一個(gè)功能,，一些小小的改變就足以達(dá)到目標(biāo),。

3.提高內(nèi)容利用率

對(duì)于內(nèi)容類網(wǎng)站和APP，推薦內(nèi)容的壓力每天都在增加,。尤其是花了大價(jià)錢在自制劇,、購(gòu)買版權(quán),、限時(shí)分成、保底買斷方面的視頻網(wǎng)站,，他們最應(yīng)該擔(dān)心的就是內(nèi)容利用率過(guò)低——比如首頁(yè)和分類頁(yè)點(diǎn)擊率不足,、比如用戶只能通過(guò)搜索才能找到好內(nèi)容、比如內(nèi)容訂閱率太低或者回訪率太低,。一向自稱“我們是一家技術(shù)公司而不是電影公司”的NETFLIX在這方面稱得上業(yè)界良心,，尤其是對(duì)首頁(yè)的有效利用堪稱一絕。

新用戶登錄時(shí)看到的NETFLIX首頁(yè),，推薦的內(nèi)容是NETFLIX的常青王牌劇《紙牌屋》,。

筆者第二次訪問(wèn)時(shí)看到的NETFLIX首頁(yè),，首頁(yè)從常青劇換成了新劇《怪奇物語(yǔ)》,，可以看到根據(jù)一些用戶習(xí)慣，下面的NETFLIX獨(dú)家內(nèi)容開(kāi)始出現(xiàn)了一些傾向,。

別人的賬號(hào)里在同一天看到的首頁(yè)完全不同，看到的是脫力喜劇《福是全家福的?！?。

切換為兒童賬號(hào)后：

未登錄之前的首頁(yè),，強(qiáng)調(diào)的是海量?jī)?nèi)容。

在成為以個(gè)性推薦知名的產(chǎn)品之前,，NETFLIX深知，獲取用戶的信任不是一件簡(jiǎn)單的事,。

Netflix的工程師Gopla Krishnan在自己的博客上記錄道：一個(gè)產(chǎn)品功能或內(nèi)容,，如果無(wú)法再90秒之內(nèi)獲取一個(gè)用戶的注意，用戶很可能就會(huì)失去興趣,，并且轉(zhuǎn)向其他行為,。這些問(wèn)題如果反復(fù)發(fā)生，可能是因?yàn)槲覀儧](méi)有為用戶呈現(xiàn)正確的內(nèi)容,。如果回溯原因,，則是因?yàn)槲覀儧](méi)有足夠的根據(jù)，證明用戶為何喜歡某一個(gè)內(nèi)容,，因此沒(méi)有用正確的思路去呈現(xiàn)內(nèi)容,。

于是Netflix在2013年做了一次大規(guī)模的A/B測(cè)試（實(shí)際上是A/B/N測(cè)試）,，看看圍繞同一部電影,，他們是否能夠在海報(bào)上做些個(gè)性化文章,，提高轉(zhuǎn)化率。

NETLIX隨后開(kāi)發(fā)了一個(gè)系統(tǒng)級(jí)方案,，可以自動(dòng)將節(jié)目圖片根據(jù)不同的寬高比、裁切效果,、修飾程度,、本土化元素等維度進(jìn)行分組。他們把這套方案逐漸應(yīng)用到越來(lái)越多的節(jié)目上,，跟蹤相應(yīng)的用戶點(diǎn)擊轉(zhuǎn)化率,，以下是一些例子，綠色箭頭是用戶轉(zhuǎn)化率較高的內(nèi)容：

五,、A/B 測(cè)試的悖論

現(xiàn)實(shí)中，通過(guò)A/B測(cè)試可以發(fā)現(xiàn)很多產(chǎn)品上的改動(dòng)或者運(yùn)營(yíng)上的策略其實(shí)并不產(chǎn)生效果,， 有些甚至?xí)胸?fù)效果,。比如很多改版并不會(huì)帶來(lái)轉(zhuǎn)化率的提升，比如手機(jī)App里的漢堡菜單經(jīng)常會(huì)帶來(lái)用戶活躍度下降,，比如有一些電商網(wǎng)站在增加了商品分類功能之后用戶下單率會(huì)下跌,。

對(duì)大多數(shù)成熟的互聯(lián)網(wǎng)產(chǎn)品來(lái)說(shuō)，大部分進(jìn)行的A/B測(cè)試實(shí)驗(yàn),，1/3被證明有效,， 2/3被證明無(wú)效（與原始版本效果差別不大，或者比原始版本效果還壞）,。也正是因?yàn)橹挥猩贁?shù)的改動(dòng)策略才會(huì)帶來(lái)提升,，所以國(guó)際互聯(lián)網(wǎng)企業(yè)都會(huì)跑大量的A/B測(cè)試試驗(yàn)，從各種各樣的嘗試中找到少數(shù)有提升效果的試驗(yàn),，將這些策略全面實(shí)施,，不斷優(yōu)化產(chǎn)品。

在前面我們提到A/B測(cè)試是一種先驗(yàn)數(shù)據(jù)方法,，有時(shí)候并不是在選擇更優(yōu)的策略,，而是在排除掉不好的策略。只有通過(guò)A/B測(cè)試驗(yàn)證好的改動(dòng)才會(huì)上線,，這就保證了產(chǎn)品總是在不斷優(yōu)化和提升,，而不會(huì)出現(xiàn)上下波動(dòng)的情況耽誤進(jìn)展。

這張示意圖很好的展示了使用A/B測(cè)試優(yōu)化產(chǎn)品之后的產(chǎn)品迭代效果,，每一次新版本的發(fā)布都首先經(jīng)歷過(guò)小流量的A/B測(cè)試驗(yàn)證，所以可以保證確定性的提升,。每一版更新都比老版要更好一些,，日積月累就會(huì)大幅度超過(guò)“裸奔”的競(jìng)爭(zhēng)對(duì)手,。

六、A/B 測(cè)試的注意事項(xiàng)

1.用戶在絕大多數(shù)時(shí)候都不會(huì)按你期望的方式操作,，有時(shí)候他們連你精心推敲,、放得好好的按鈕都找不到。個(gè)中原因很多：可能因?yàn)槟愕脑O(shè)計(jì)不夠直觀,、顏色不夠突出,、不理解某種操作、可交互的選擇太多無(wú)法決定從何下手……等等,。

2.對(duì)于用戶行為來(lái)說(shuō),，多數(shù)時(shí)候我們的直覺(jué)都是錯(cuò)的。唯一能證明對(duì)錯(cuò)的方式就是A/B測(cè)試,。在用戶體驗(yàn)領(lǐng)域,，這是最好的鑒別指針。

3.一個(gè)人的邊界太有限,，因此最好的主意不是憋出來(lái)的,，是一起探索出來(lái)的。好的產(chǎn)品團(tuán)隊(duì)?wèi)?yīng)該擅長(zhǎng)通過(guò)各種不同的新項(xiàng)目,，推動(dòng)跨團(tuán)隊(duì)的協(xié)調(diào)和交流,。經(jīng)常把設(shè)計(jì)師、工程師,、產(chǎn)品經(jīng)理,、運(yùn)營(yíng)聚在一起，圍繞產(chǎn)品大開(kāi)腦洞,。很多好的產(chǎn)品點(diǎn)子就是在測(cè)試了原型產(chǎn)品后,，通過(guò)這樣的跨團(tuán)隊(duì)討論迸發(fā)出來(lái)的。

4.當(dāng)你和用戶直接對(duì)話時(shí),，請(qǐng)務(wù)必記住這個(gè)原則：用戶總是說(shuō)一套做一套,。所以關(guān)注用戶做什么，而不是他們說(shuō)什么,。

5.用戶數(shù)據(jù)的多少?zèng)Q定了你的成功幾率有多少,？有數(shù)據(jù)，才能分析用戶行為的背后原因,。數(shù)據(jù)能助你構(gòu)筑方案無(wú)需人肉撕逼,，AB測(cè)試可以告訴你哪個(gè)方案更有效。

七,、微軟科學(xué)家給你的建議

Ronny是微軟公司的科學(xué)家,，一手主導(dǎo)了微軟多個(gè)產(chǎn)品線的線上A/B測(cè)試系統(tǒng)的搭建與使用。發(fā)表過(guò)很多著名的關(guān)于A/B測(cè)試的學(xué)術(shù)論文,，可以說(shuō)是這個(gè)領(lǐng)域的頂級(jí)專家,。7條經(jīng)驗(yàn)如下：

1.效果驚人：某些微小的改動(dòng)可能造成對(duì)KPI的巨大影響,；

2.耐心測(cè)試：但是大多數(shù)改動(dòng)都不會(huì)大幅度提高KPI。這里說(shuō)一個(gè)很有意思的Twyman法則：凡是看上去很出人意料的圖表,，通常都是因?yàn)閿?shù)據(jù)統(tǒng)計(jì)錯(cuò)了；

3.你很不同：各個(gè)產(chǎn)品幾乎完全不同,，所以復(fù)制他人經(jīng)驗(yàn)往往得不到什么效果,；

4.速度是關(guān)鍵：任何能加速用戶響應(yīng)時(shí)間的改動(dòng)都會(huì)給KPI帶來(lái)提升；

5.關(guān)注產(chǎn)品質(zhì)量本身：點(diǎn)擊率容易提高,，流失率很難改進(jìn),，勿將精力都放在提高某個(gè)頁(yè)面的點(diǎn)擊率上；

6.快速輕量迭代：盡量不要做復(fù)雜的大量改動(dòng)的大試驗(yàn),，盡量做很多很多個(gè)簡(jiǎn)單改動(dòng)的小試驗(yàn),；

7.用戶數(shù)量是基礎(chǔ)：幾千上萬(wàn)用戶才容易展開(kāi)高效的AB測(cè)試；

－DataHunter,讓你愛(ài)（AI）上看數(shù)據(jù)－