神策資料 A/B 測試：以變應變，給使用者更好的體驗“寵愛”

伴隨著企業數字化轉型程序的加速及使用者行為分析理念的深入，各種各樣的資料分析模型，比如事件分析、漏斗分析、留存分析等，早已成為企業日常運營不可或缺的“小助手”。

作為大資料分析與營銷科技服務提供商，神策資料在過去 6 年累計服務了 30 多個行業的 1500+ 企業，在這個過程中我們逐漸意識到，資料分析只是企業數字化轉型過程中的一環，要想讓資料真正對企業產生價值，應該將基於資料流的決策、行動與反饋統統加入進來，也就是基於資料流的企業運營框架 SDAF，即 Sense（感知）、Decision（決策）、Action（行動）、Feedback（反饋），形成一個完整的業務價值產出閉環。

當我們進一步思考，為什麼 SDAF 是個環，而且是多個持續不斷的環呢？這時候我們會發現，這是因為普遍存在兩個痛點：一是目標不精確，可能會導致行動失準、產出失效；二是手段不精確，可能會導致最終產出小於投入。這不僅是因為我們自身的認知有限，使用者本身也十分“善變”。

也正是因此，神策資料推出 A/B 測試，結合使用者行為分析，為企業帶來應對使用者變化的解決方案，最大化提升價值產出與效率，持續優化、持續迭代，給使用者帶來更好的體驗“寵愛”。

那麼，我們如何應用行為分析和 A/B 測試，達到良好融合、最大化提升價值產出的效率呢？用通俗的話語進行描述，那就是：“像投資人一樣找槓桿，像科學家一樣做試驗。”而要找到槓桿，首先得理解我們的目標是什麼。如果從使用者行為的角度來描述目標，可以分為一次性行為和週期性行為。

一次性行為：我們希望使用者儘可能發生單個目標行為，且這類行為通常非常關鍵，可以為後續的產品使用打下堅實基礎，常見如使用者註冊、首單支付、實名認證等等。這類行為對應著我們的業務目標是“轉化”，即讓更多使用者沿著正確路徑達成目標事件。

週期性行為：我們希望使用者儘可能多次發生某個行為，或者發生的程度更深，通常是體現產品核心價值的行為，常見如支付訂單、瀏覽內容等等。這類問題通常對應的業務目標是“參與度”或“留存”，即讓使用者更多更深入地做某件事情。

接下來我們將基於神策資料提出的 SDAF 運營框架，詳細為大家介紹 A/B 測試與使用者行為相結合的應用實踐。

Sense：使用行為分析模型，感知使用者行為

對於使用者的一次性行為，我們的業務目標是讓更多的使用者沿著正確的路徑做某個事情。可以通過以下模型進行觀測：

漏斗分析：嚴格規定的路徑上，使用者流失情況如何？

路徑分析：使用者群體的實際行為路徑如何分流？

行為序列：使用者個體的實際行為路徑如何跳轉？

對於週期性的行為，我們的業務目標是讓使用者更多更持久地做某件事，並形成習慣。可以通過以下模型進行觀測：

留存分析：使用者行為的發生在時間上的持續性如何？

分佈分析：使用者行為的發生頻次（強度）如何？

Decision：基於觀測資料，正確使用資料做決策

只有資料是很難產生價值的，所以完成了 Sense 之後，需要做進一步的解讀與決策。我將資料應用總結為以下三點：

1.有限還原場景。從抽象過的、框架化的角度還原使用者的整個決策過程，比如通過漏斗分析、使用者路徑分析，就可以描繪使用者的整體行為情況。

2.做為診斷依據。感知使用者行為，通過時間或分類維度的橫向豎向比較，可以大致確定是否存在問題。

3.進行槓桿排序。知曉當前哪個比較重要，哪個暫時不那麼重要，雖然問題可能很多，但事兒還得一件一件幹。

除此之外，比資料應用重要的事情是知道事情怎麼做？要描述好這個事情，我通常會列出兩張表。

第一張表叫做：為什麼？如果我們對於要解決的問題有更準確的認識，解決起來的效果當然是較好的，因此可以從動力、阻力、時機等角度羅列可能的原因，並做一些主觀上的排序。

第二張表叫做：怎麼辦？針對於這些具體原因，我們可以列出可能的方案或者方案的方向。最終使用 ICE 模型（Impact 影響範圍、Confidence 自信程度、Ease 實現難易）進行主觀排序，確定最近的一段時間，我們要做的試驗是什麼。

比如針對電商場景，我們可以梳理出電商的核心路徑，並找到核心路徑上的薄弱環節，或者槓桿指標，並進一步定位我們的關注點。

當定位到某個問題頁面或者模組之後，我們會進一步列出為什麼和怎麼辦。比如我們在資料分析中診斷出某電商的輪播圖模組存在轉化問題，該模組靠後的幾張廣告的滲透率急劇下降，且經評估我們認為該模組的重要度比較高，我們就可以進一步針對其列出以下列表：

Action：基於業務決策，實施 A/B 測試

當我們已經有了比較具體的試驗方向，就可以進一步設計試驗本身的細節，去羅列出試驗實施的幾個要素：

試驗的假設：我們所認為的目標和手段之間的因果關係。（改動什麼會影響什麼？原因是什麼？）

試驗的變數：具體的改動元素，通常是單一元素，方便歸因。

試驗的指標：評估試驗成敗的指標及其相關指標。

試驗的受眾：具體實施試驗的使用者物件。

Feedback：分析試驗資料，獲取反饋與認知

“反饋”的字面含義，指的是我們從試驗結果中獲得的直接結論，即各試驗組是否有差異，哪組策略更好或是更壞。而“認知”卻是更深一層的，即我們學到的、可以被沉澱的知識。

比如在我司客戶的某個電商場景中，對於奢侈品的圖片加上各種相關標語的大圖版本，從資料上來看轉化率是更差的，這是“反饋”。而奢侈品類產品的大圖中加上標語，對使用者來說受到了注意力干擾，影響到體驗產品的美感，這是“認知”。

在統計學中講到，“即使資料上存在顯著差異，我們無論接不接受新的方案，都是有概率犯錯誤的。”也就是說，反饋可能是錯誤的。更要命的是，即使我們得到的反饋是對的，也可能在認知上犯錯誤。比如我們錯誤的認為，奢侈品的大圖上不加標語是更好的，但實際上，只是不能只加優惠政策類標語，因為這看起來會很山寨，影響客戶的信任度，恰當新增標語也可以提升信任度。

基於反饋，我們可以判定最近的試驗是否有效，基於認知，我們也可以沉澱更多可累積的經驗。

就像企業一直追求的精細化運營，其背後就是這種聚沙成塔式累積的效應，能夠幫助我們累積得更多，走得更遠！