什麼是A/B實驗，為什麼要開A/B實驗？

1. 什麼是A/B實驗

A/B實驗也被稱為A/B測試，實驗的基本思路是在線上流量中取出一小部分（較低風險），完全隨機地分給原策略A和新策略B（排除干擾），再結合一定的統計方法，得到對於兩種策略相對效果的準確估計（量化結果）。

這一套基於小樣本的實驗方法同時滿足了低風險，抗干擾和量化結果的要求，因此不論在網際網路產品研發還是科學研究中，都被廣泛使用。

• A/B實驗的應用一

Instead of saying "I have an idea," what if you said "I have a new hypothesis , let's go test it, see if it's valid, ask how quickly can we validate it." And if it's not valid, move on to the next one. —— Satya Nadella CEO, Microsoft

微軟CEO Satya Nadella 在business insider採訪中，關於假設檢驗的這一段回答簡練地描述了微軟基於實驗-分析-決策的資料驅動文化。

事實上，微軟也是世界上最早採用A/B實驗評估每一個重大feature的科技公司之一，從bing的搜尋排序到MSN的互動設計，資料驅動的決策無處不在，每年為微軟規避大量風險並創造可觀回報。

下圖，從bing這一側面展示了微軟實驗平臺同時執行的實驗數量十年以來的井噴式發展。

• A/B實驗的應用二

另外值得一提的是，這一套基於假設檢驗的實驗方法並非科技公司首創，其影響遠比我們想象得深遠，可靠性也已經得到了長足的驗證。

比如，在醫學界，每一種新型藥物研發都會伴隨著一系列動物實驗和臨床測試，這些實驗的效果都會以類似但更為嚴格的假設檢驗方法進行評估，最終被認定安全有效的藥品才會進入市場，造福患者。

下圖所示就節選自某種放射性療法在乳腺癌治療中的有效性報告，紅框中的95%CI（95%置信區間）和p（p-value）就是假設檢驗中常用的統計術語。

2.為什麼要開A/B實驗

如今，大多數網際網路產品野蠻生長的時代已經過去，人口紅利到頂，產品策略需要從快糙猛的跑馬圈地方式轉向深耕細作精細化運營方式，要精細化運營，就需要採用資料來驅動。

資料驅動的必要性

何為資料驅動？試想以下幾種場景：

• 小A憑著豐富的經驗直接修改了產品的線上策略，一週後發現效果不升反降，遂下線。
• 小B和小C同時上線了兩個產品功能，一週後產品資料有下降，都認為是對方的問題，誰也不肯接鍋。
• 小D上線了一個新策略，隨後進入十一黃金週，使用者互動有所下降，小D覺得一定是假期埋沒了自己的辛苦貢獻，但也辯不明白，無處申冤。
• 小E辛苦工作一整年，開發了365個不同的功能上線，年終寫總結時卻寫不出到底在哪些方面究竟貢獻了多少。

想必不論是研發還是產品運營的同學，都不希望自己辛苦工作過後落入上述的幾種尷尬的境地中，因此資料驅動業務增長就顯得很有必要。

那麼資料變化和產品動作之間到底存在什麼樣的因果關係呢？

假設，某網際網路公司承載了上億規模的DAU，每天有數以百計的新特性等待上線，一方面業務人員無法承擔其中任何一個錯誤特性直接影響上億使用者體驗的嚴重後果，另一方面業務人員又希望能夠分離並量化每個特性的影響。

因此，我們需要設計並堅持使用一套資料驅動的方法，使得業務人員可以以較小的風險對新feature進行評估，積極試錯積累經驗；並且我們設計的該方法有能力排除其他因素（比如同時開發的其他feature以及時間因素等）的干擾；最後，除了‘好’或者‘不好’，我們希望這個方法最好也能夠給出 定量的結果。

如何做到資料驅動？

為了解決上述問題，普遍使用的方法論是小流量隨機實驗，也就是我們常說的A/B實驗。

在推崇“資料驅動增長”的位元組，A/B實驗是一種信仰。在經過多年的內部業務的打磨，目前已通過火山引擎正式把A/B實驗平臺對外服務，取名為DataTester。它基於先進的底層演算法，提供科學分流能力，提供智慧的統計引擎，實驗結果可靠有效，助力業務決策。深度耦合推薦、廣告、搜尋、UI、產品功能等多種業務場景需求，為業務增長、轉化、產品迭代、策略優化、運營提效等各個環節提供科學的決策依據，讓業務真正做到資料驅動。

DataTester經過抖音、今日頭條等位元組業務多年驗證，截至2022年8月，已在位元組跳動內部累計完成150萬次A/B實驗。此外也已經服務了美的、得到、凱叔講故事等在內多家標杆客戶，將成熟的“資料驅動增長”經驗賦能給各行業。

火山引擎DataTester官網：https://www.volcengine.com/product/datatester

立即跳轉 A/B測試 DataTester 瞭解詳情！