導讀：近幾年AB實驗的曝光度越來越高。AB實驗并不是近幾年才有的，從推薦系統誕生開始，AB實驗就扮演著重要的角色。本文主要介紹AB實驗的基本概念，包括AB實驗和在線AB實驗的定義以及AB實驗的常見類型。
01 AB實驗的定義
AB實驗又稱為受控實驗（Controlled Experiment）或者對照實驗。AB實驗的概念來自生物醫學的雙盲測試，雙盲測試中病人被隨機分成兩組，在不知情的情況下分別給予安慰劑和測試用藥，經過一段時間的實驗后，比較這兩組病人的表現是否具有顯著的差異，從而確定測試用藥是否有效。2000年，Google工程師將這一方法應用在互聯網產品測試中，此后AB實驗變得越來越重要，逐漸成為互聯網產品運營迭代科學化、數據驅動增長的重要手段。從國外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到國內的百度、阿里、騰訊、滴滴、字節跳動、美團等公司，在各種終端（網站、PC應用程序、移動應用程序、電子郵件等）上運行著大量的AB實驗。這些公司每年進行數千到數萬次實驗，涉及上億的用戶，測試內容涵蓋了絕大多數產品特征的優化，包括用戶體驗（顏色、字體和交互等）、算法優化（搜索、廣告、個性化、推薦等）、產品性能（響應速度、吞吐量、穩定性、延遲）、內容（商品、資訊、服務）生態管理系統、商業化收入等。因為AB實驗被引入互聯網公司后，應用場景主要是大規模的在線測試，所以也被稱作在線AB實驗或者在線對照實驗（Online Controlled Experiment，OCE）。常見的在線AB實驗中，用戶被隨機、均勻地分為不同的組，同一組內的用戶在實驗期間使用相同的策略，不同組的用戶使用相同或不同的策略。同時，日志系統根據實驗系統為用戶打標記，用于記錄用戶的行為，然后數據計算系統根據帶有實驗標記的日志計算用戶的各種實驗數據指標。實驗者通過這些指標去理解和分析不同的策略對用戶起了什么樣的作用，是否符合實驗預先的假設。如圖1-1所示，圖中流程概括了AB實驗的經典模式。
▲圖1-1 AB實驗流程將圖1-1所示的流程應用到產品迭代中，就是將具有不同功能、不同策略的產品版本，在同一時間，分別讓兩個或多個用戶組訪問。這些參與實驗的用戶組是從總體用戶中隨機抽樣出來的，一般只占總體用戶的一小部分，而且不同組用戶的屬性、構成成分是相同或相似的。
先通過日志系統、業務系統收集各組用戶的行為數據和業務數據，然后基于這些數據指標分析、評估出相比之下更好的產品版本，最后推廣到全部用戶。以圖1-2為例，我們試圖通過AB實驗找出哪個顏色的橫幅位點擊率更高：A組保持淺色橫幅不變，B組采用深色的橫幅，分析哪個顏色更能引起用戶的關注，提升用戶的點擊率。如果通過實驗發現深色橫幅的點擊率更高，就將深色橫幅位推廣到全部用戶。當然，在實際應用中，AB實驗的效果評估一般沒有這么簡單，比如除了點擊率之外，還需要綜合考慮其他的指標。
▲圖1-2 AB實驗測試哪個顏色橫幅位點擊率更高
02 AB實驗的類型
從不同分類視角來看，AB實驗有著不同的類型。
從實驗實施的產品形態來看，AB實驗可以分為App類型、PC類型、網頁頁面類型等。
從實驗代碼運行的機制來看，AB實驗可以分為前端頁面類型、后端服務類型等。
從實驗分流的對象來看，AB實驗可以分為用戶類型、會話類型、頁面類型、元素類型等。
從實驗服務調用的方式來看，AB實驗可以分為SDK類型、接口服務類型等。
從實驗內容來看，AB實驗可以分為交互類、算法類、內容類、工程性能類等。
這些是AB實驗常見的分類方式。當然，AB實驗的分類不局限于以上分類，可以根據實際情況，采用不同的分類方式。不管何種類型的AB實驗，都應符合分流→實驗→數據分析→決策的基本流程。
（部分內容來源網絡，如有侵權請聯系刪除）
