?1.AB實驗的定義

AB實驗又稱為受控實驗（Controlled Experiment）或者對照實驗。AB實驗的概念來自生物醫(yī)學的雙盲測試，雙盲測試中病人被隨機分成兩組，在不知情的情況下分別給予安慰劑和測試用藥，經過一段時間的實驗后，比較這兩組病人的表現(xiàn)是否具有顯著的差異，從而確定測試用藥是否有效。

2000年，Google工程師將這一方法應用在互聯(lián)網產品測試中，此后AB實驗變得越來越重要，逐漸成為互聯(lián)網產品運營迭代科學化、數(shù)據驅動增長的重要手段。

從國外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到國內的百度、阿里、騰訊、滴滴、字節(jié)跳動、美團等公司，在各種終端（網站、PC應用程序、移動應用程序、電子郵件等）上運行著大量的AB實驗。

這些公司每年進行數(shù)千到數(shù)萬次實驗，涉及上億的用戶，測試內容涵蓋了絕大多數(shù)產品特征的優(yōu)化，包括用戶體驗（顏色、字體和交互等）、算法優(yōu)化（搜索、廣告、個性化、推薦等）、產品性能（響應速度、吞吐量、穩(wěn)定性、延遲）、內容（商品、資訊、服務）生態(tài)管理系統(tǒng)、商業(yè)化收入等。

因為AB實驗被引入互聯(lián)網公司后，應用場景主要是大規(guī)模的在線測試，所以也被稱作在線AB實驗或者在線對照實驗（Online Controlled Experiment，OCE）。

常見的在線AB實驗中，用戶被隨機、均勻地分為不同的組，同一組內的用戶在實驗期間使用相同的策略，不同組的用戶使用相同或不同的策略。

同時，日志系統(tǒng)根據實驗系統(tǒng)為用戶打標記，用于記錄用戶的行為，然后數(shù)據計算系統(tǒng)根據帶有實驗標記的日志計算用戶的各種實驗數(shù)據指標。實驗者通過這些指標去理解和分析不同的策略對用戶起了什么樣的作用，是否符合實驗預先的假設。如圖1-1所示，圖中流程概括了AB實驗的經典模式。

▲圖1-1 AB實驗流程

將圖1-1所示的流程應用到產品迭代中，就是將具有不同功能、不同策略的產品版本，在同一時間，分別讓兩個或多個用戶組訪問。這些參與實驗的用戶組是從總體用戶中隨機抽樣出來的，一般只占總體用戶的一小部分，而且不同組用戶的屬性、構成成分是相同或相似的。

先通過日志系統(tǒng)、業(yè)務系統(tǒng)收集各組用戶的行為數(shù)據和業(yè)務數(shù)據，然后基于這些數(shù)據指標分析、評估出相比之下更好的產品版本，最后推廣到全部用戶。

以圖1-2為例，我們試圖通過AB實驗找出哪個顏色的橫幅位點擊率更高：A組保持淺色橫幅不變，B組采用深色的橫幅，分析哪個顏色更能引起用戶的關注，提升用戶的點擊率。如果通過實驗發(fā)現(xiàn)深色橫幅的點擊率更高，就將深色橫幅位推廣到全部用戶。

當然，在實際應用中，AB實驗的效果評估一般沒有這么簡單，比如除了點擊率之外，還需要綜合考慮其他的指標。

▲圖1-2 AB實驗測試哪個顏色橫幅位點擊率更高

2.AB實驗的類型

從不同分類視角來看，AB實驗有著不同的類型。

• 從實驗實施的產品形態(tài)來看，AB實驗可以分為App類型、PC類型、網頁頁面類型等。
• 從實驗代碼運行的機制來看，AB實驗可以分為前端頁面類型、后端服務類型等。
• 從實驗分流的對象來看，AB實驗可以分為用戶類型、會話類型、頁面類型、元素類型等。
• 從實驗服務調用的方式來看，AB實驗可以分為SDK類型、接口服務類型等。
• 從實驗內容來看，AB實驗可以分為交互類、算法類、內容類、工程性能類等。

這些是AB實驗常見的分類方式。當然，AB實驗的分類不局限于以上分類，可以根據實際情況，采用不同的分類方式。不管何種類型的AB實驗，都應符合分流→實驗→數(shù)據分析→決策的基本流程。

本文摘編自《AB實驗：科學歸因與增長的利器》（ISBN：978-7-111-70713-4），經出版方授權發(fā)布。?