145億次播放，6千餘萬用戶，凱叔講故事APP資料埋點治理及分析實踐

來源：InfoQ

作者：鈺瑩

導讀： 2014年，前央視主持人凱叔創辦北京凱聲文化傳媒有限責任公司，並於2016年推出凱叔講故事APP。截至目前，凱叔講故事APP總使用者數量已經超過6000萬，總播放超145億次，使用者平均日收聽時長可達70分鐘。內容形式及使用者數的不斷增多導致內部形成了一張錯綜複雜的資料網路，亟待被釐清。

本文， 從資料驅動全鏈路技術難點解析入手到“凱叔講故事”的具體解決方案分享 ，希望為廣大企業和開發者提供有效的建設路徑參考。

01

資料驅動全鏈路技術難點解析

過去十多年，我們可以看到全球很多網際網路公司通過資料驅動決策在各個領域裡取得非常好的效果，也經歷過從沒有資料、沒有指標，到後來的全面資料採集，大量的決策都基於資料驅動的理念進行，並在整個行業流行資料驅動型決策 (DDDM) 文化。甚至，很多企業都設有“首席資料官”這一職位，普華永道思略特（2011 年）對全球市值最大的 2500 家上市企業調查顯示，已任命首席資料官的比例為 21%。

但是，資料驅動增長這件事情存在很大的技術挑戰。首席資料官既要面對在傳統資訊化建設中留下的“資訊孤島”、“資訊煙囪”等阻礙資料發揮價值的“絆腳石”，又要面對“垃圾進垃圾出”的低質量資料，還要驅動文化變革使大家接受以資料來驅動業務的資料文化思維。更具體地來說，資料驅動體系涉及資料採集、指標體系、資料分析、業務增長歸因及精準運營多個環節，每個環節又都存在眾多要解決的問題。

在資料採集層面 ，埋點設計至關重要，埋點資料的質量直接影響後續的資料應用質量和資料回溯。但在實際的工作中，我們經常面臨埋點重要資訊缺失、埋點少、埋點口徑不統一或者埋點浪費等問題，要保障埋點資料的質量，埋點驗證也很關鍵，要做好埋點驗證也面臨著很多技術挑戰，比如易用性、準確性、實時性、穩定性、擴充套件性。

在指標體系搭建層面 ，指標定義環節可能存在指標管理不統一、指標口徑不一致、指標流程不規範等問題；指標生產環節，企業可能面臨著重複建設，資料彙算成本較高等問題；指標消費環節可能存在資料出口不統一、重複輸出、輸出口徑不一致等問題。這些都造成指標管理混亂，資料價值未得到充分發揮。

在資料採集和指標體系搭建完成之後 ，我們需要合適的分析模型、歸因模型發現指標背後的增長可能，找到可能帶動增長的方法，並固化為行之有效的業務正規化，最終實現精準運營。

在這個過程中，有很多開源和商用方案可以選擇，但效果不一。僅在埋點治理層面，凱叔講故事APP就經歷過自研和採用第三方資料產品兩大階段，在技術路線選擇上有一定發言權。

02

凱叔講故事APP

四個月完成埋點生命週期全流程自動化

1. 業務現狀

凱叔講故事APP從誕生到成熟已經走過6個年頭，隨著使用者量級不斷上漲，從前線市場反饋過來的新需求日漸增多，對資料的把握與洞察也有了更高要求，而更多的使用者和資料量級帶來的也是更大的壓力。

僅在埋點治理層面，凱叔講故事APP就經歷過自研和採用第三方資料產品兩大階段。其中，資料上報不準確、點位管理混亂、驗點難，屬於老大難問題。北京凱聲文化傳媒有限責任公司研發VP萬路表示：“尤其是驗點的問題，由於沒有合適的驗檢工具，開發人員不得不通過抓包的形式來進行，如果驗證點位不夠準確，甚至需要一個欄位一個欄位地比對，耗時耗力卻不能保證100%的準確率，這使得開發人員一度對驗點產生了抗拒的情緒。”

2. 決定重構，引入DataFinder解決問題

2022年4月，凱叔講故事對APP進行了一番重構，不僅重寫了底層程式碼，還首次引入了火山引擎的使用者增長分析平臺DataFinder。萬路表示：“因為之前我們也有用過其他廠商的產品，說實話，在投入相當人力、時間的前提下，距離我們的預期還是存在一定差距。”

4月份至今，DataFinder為開發團隊能效帶來了巨大提升，不僅有效解決了此前凱叔講故事APP埋點結構缺乏整體規劃、資料模型冗餘、效率低、資料質量不高、數倉團隊壓力大等問題，還實現了埋點需求管理、埋點方案設計、埋點評審、埋點生命週期管理等全流程的線上化與自動化。在異動指標方面，火山引擎提供十餘種分析模型，幫助開發團隊快速定位問題，提升排查效率。

以驗點為例，DataFinder實時埋點驗證和使用者細查的功能，將這項任務的耗時從過去的至少三天縮減到僅需2到3個小時，而且隨時隨地可以查詢，得到了開發團隊的一致好評。

後續，DataFinder提供的產品能力和服務，也讓凱叔講故事的技術團隊有了一些驚喜。通過對DataFinder產品的實際運用，以及現階段初顯的業務效果，凱叔講故事技術團隊對火山引擎雲上資料產品有了更多興趣，期待能夠在未來與火山引擎有更多場景的合作。

對DataFinder在內的火山引擎全系列雲上資料產品來說，加強與凱叔講故事APP等企業的持續合作，是繼歷經位元組跳動內部多業務多場景打磨後，自身資料能力面向外界產品化輸出時的關鍵一步。

最後，DataFinder的產品官網提供了完善的使用文件，可以幫助企業和開發者快速開啟“增長分析”之旅。如果你對資料驅動的全鏈路技術還處在觀望階段，或者有計劃進行內部改造還未有具體步驟，再或者你恰好就是扛起這面大旗的首席資料官，都可以在9月2日觀看火山引擎資料智慧科技峰會。屆時，火山引擎雲上全系列資料產品會 集中亮相，並迎來部分產品的重磅釋出與能力升級，總有一個可以解決你的問題。

評論區話題 :speech_balloon:

你所在企業的資料驅動全鏈路體系是否搭建完畢？卡在哪個環節？過程中有哪些難點讓你“痛不欲生”？

歡迎大家在評論區留言討論。 點贊最高的第 1～5 名 將每人獲得火山引擎定製雙肩揹包一個， 點贊最高的第 6～10 名 將每人獲得火山引擎定製筆記本一本。