CQ: 位元組系創作質量中臺實踐

語言: CN / TW / HK

簡介

創作資源是指道具、模板、小程式等由設計師製作的資源,會應用於抖音、火山、剪映、輕顏、醒圖等多款位元組 APP 上。隨著 UGC 模式的發展,越來越多的使用者也加入到創作者行列,提供了大量、新穎的創意與玩法。創作者的增加,也導致資源數量急劇上漲,安全與質量問題也日益突出,而人工檢測也存在著較大的效率、漏審等問題。為提升效率和測試覆蓋率,給予創作者更好的創作環境與使用者更好的使用體驗,我們打造了一個專業垂類化測試服務化平臺——創作質量平臺(簡稱 CQ ),來保障創作者生產資源的質量。

平臺介紹

背景

傳統的創作資源檢測流程大致分為使用者投稿、內容檢測、質量檢測、上線或者打回這幾步。其中質量檢測大多為人工把控,這樣就極可能出現效率低、漏檢、錯檢的問題。而這些問題可能會造成線上事故或者會降低創作者投稿的熱情,讓我們流失一批優質的創作者。而 CQ 平臺採取自動化和演算法雙效賦能的方式來保障質量檢測這一環節。如自動化模板製作、自動化效能檢測、策略分級下發、演算法分類打標、演算法內容檢測等。同時提供複檢和反饋的功能,優化自動化策略與演算法模型,提高平臺置信度。平臺系統架構圖如下圖所示:

任務流

檢測任務種類繁多,我們抽象出 Job 來描述一次任務,可表示任意型別任務。Task 表示一次任務的子任務,是一次自動化執行的最小單位,建立規則可根據業務需求制定。業務 APP 表示不同的檢測型別,如下面會提到的模板檢測、特效效能檢測等。任務管理模組處理通用的任務管理邏輯。任務流程如下圖所示:

質量檢測型別

模板檢測

模板檢測的物件主要包括剪映的剪同款模板、醒圖的修同款模板、輕顏的拍同款模板等。特點為量級大、檢測點複雜。單剪同款模板每日就有約 3.5w+的量級。

流程如上圖,目前已與流程平臺形成鏈路閉環。製作出的剪同款模板上傳至流程平臺,區分高低優佇列,在 CQ 註冊一次任務。CQ 根據模板的優先順序進行任務分流,建立對應的自動化任務。自動化完成套用素材、合成影片、匯出影片等操作。獲取剪同款影片後,會利用相應演算法能力檢測模板規則和影片質量是否符合預期,同時為影片進行打標操作,最後將產物與標籤結果回傳至流程平臺,相應人員確認檢測結果。

任務分流

由於剪同款模板的任務量級較大,單獨依賴本地機架難以完全支援,剪同款模板檢測採取任務分流策略,首先對任務區分優先順序,根據不同優先順序提供不同的剪同款模板檢測能力。主要包含本地資源池、GTF 機架服務和剪同款雲端三種能力。

模板優先順序 檢測能力 優點 缺點 量級
高優模板&低優灰度模板 本地資源池 手機客戶端 SDK 版本和線上一致,效果置信度最高 本地機架,UI 自動化,效率較低 15 臺 iOS 20 臺安卓
高優模板&低優灰度模板 GTF 機架服務 手機客戶端 SDK 版本和線上一致,效果置信度最高 本地機架,UI 自動化,效率較低 20 臺安卓
低優模板 剪同款雲端能力 基於 Linux 核心的 SDK,執行效率最高 落後於線上 SDK 版本,效果置信度達不到 100%,只能處理低優任務 分散式叢集部署

演算法分類打標

除了模板檢測,模板打標分類也是人耗極高的一環。據運營統計,峰值積累了 56 萬左右的模板處於未打標狀態,這對模板的整體曝光率和剪同款 feeds 流的推薦質量都有很大的負面影響。因此,高效且準確的演算法分類打標對模板打標的人效和線上業務效果都是非常重要的。我們對模板標題、模板影片以及模板音訊進行了特徵提取,通過 Gate Multimodal Unit 結構進行融合,得到多模態特徵模型。其中在主題分類這一垂類分類中,準確率已經達到 91%,非常接近人工分類的效果。

落地效果

目前已承接剪映、CapCut、抖音、輕顏、醒圖等多個業務線的模板。剪同款模板檢測初期基本依賴於全人工操作,需要運營同學手動在手機上根據模板製作剪同款影片並人工檢查,平均每人每天只能檢測約 60 個模板。接入模板檢測後,日均檢測模板 3.8w+,日均過濾問題模板 2000+,累計檢測模板近 350w,穩定性跟準確率均保持在 99%以上。演算法以及打標模組將原來的檢測時效從 3 天縮短至 4h 內,極大程度上解放了人效。

小程式檢測

小程式檢測的物件為位元組系小程式。特點為:

  1. 樣本多,每個小程式都有大量頁面;

  2. 檢測點較多,需要對每個小程式的名稱、icon、簡介、內容等 20+個點進行檢測。

流程如上圖,目前已與流程平臺形成鏈路閉環。創作者製作小程式後上傳至流程平臺,截圖服務會遍歷小程式獲取內容截圖,在 CQ 註冊一次任務。CQ 對截圖樣本歸類後,通過 CV&NLP 演算法能力,檢測對應的檢測點,再將結果視覺化並回傳給流程平臺,並提供結果反饋功能,運營同學可在流程平臺上或 CQ 上對結果進行反饋,便於演算法側調優演算法,提高準確率和置信度。

演算法賦能

目前基於 CV 和 NLP 演算法為小程式提供 20+個檢測點,主要涵蓋小程式的名稱、icon、簡介、內容安全、頁面異常、文字異常、誘導資訊、服務類目等方面。針對不同的檢測點,也會直接在樣本上標註問題區域,便於運營人員排查問題。

抽檢機制

由於樣本較多,如果都需要運營人員反饋,就會大大增加運營人員的壓力,但如果只對不通過結果進行反饋,就可能會有錯審問題一直隱藏於通過的 case 中,模型產生長尾問題。於是 CQ 平臺會對所有檢測點按照以下三個維度打分:

  • 歷史結果的準確率:準確率越低,得分越高

  • 上次被抽取的時間:越久未被抽到,得分越高

  • 隨機因子:隨機分數,保證樣本的多樣性

針對於通過的樣例,分數 top n 的檢測點對應的詳情樣本會抽取固定數量返回給流程平臺進行人工打標。

落地效果

目前,我們搭建的小程式檢測流程承接了位元組系小程式的日常檢測,日均提審 500+個。小程式的檢測時延也從原本人審的 24h 縮減至 5h 以內,且目前準確率在 95%以上。第三方小程式也根據 CQ 的結果打通了提審-檢測-下發的整個流程,期間不再需要人工介入。

特效效能檢測

特效效能檢測的物件為各個 APP 的特效資源。特點是特效的型別非常多,有道具、風格、美妝、貼紙、濾鏡、轉場、動畫等,由於型別的差異,流程上也會存在差異。

流程如上圖,目前已與特效平臺形成鏈路閉環。創作者製作特效上傳至特效平臺,在提測過程中會在 CQ 註冊一次任務。CQ 根據不同的業務型別+資源型別排程對應裝置資源池,建立一次自動化任務,自動化執行結束後平臺對結果做資料分析、視覺化報告展示與智慧告警,並回傳給特效平臺,QA 同學打回特效同時也會選擇打回原因,CQ 用以判斷結果的準確性。目前特效檢測主要包含效能檢測(記憶體、CPU、FPS 等)、基礎功能檢測(黑白屏、Crash)、定製化檢測(資源包邏輯檢查)等。自動化任務的執行覆蓋特效資源使用的主流程,同時也為部分業務線覆蓋了線上問題較多的場景。

觸發道具檢測

觸發道具是指需要指定動作才可觸發相應效果的道具,如需要眨眼、比心觸發。特效檢測初期只覆蓋了靜態人臉效果,但隨著特效玩法逐漸多樣,觸發類特效數量激增,由於效果未被觸發,特效檢測產出的效能結果可能存在偏差、漏報等問題。為了產出更準確的效能測試資料,提高貼紙測試效率, CQ 需支援觸發類特效自動化能力。

首先考慮到觸發動作種類非常多,而且在持續迭代中,如果把測試機攝像頭對著的人像圖片更換成顯示對應動作的影片,這樣對 QA 同學來說素材的維護成本會增加,且需要投入大量的硬體裝置,後續的硬體維護也需要非常多的人力。

經調研討論,CQ 最終採取模擬演算法資料的方式完成觸發道具的檢測。首先會解析特效資源包,獲取資源包所需的觸發動作,目前主要涉及表情、手勢、觸屏等動作 ,然後根據約定好的協議格式,構造一份 pb 檔案,通過客戶端透傳給 SDK ,SDK 接收到訊息後替換掉真實演算法資料,即可觸發相應的演算法效果。

分級測試流程

特效資源在不同機型上幀率差異非常明顯,為了更好的使用者體驗,會損失一些效果來保證效能,讓使用者在使用時更加流暢。特效檢測也會針對資源包做分級測試。目前策略是選取具有代表性的幾款機型,劃分低、中、高階,依次從低端機開始測試,只有幀率結果不通過的時候,會流轉至中端機,以此類推,最終給出特效資源建議下發的機型區間。

落地效果

目前特效效能檢測已接入抖音、火山、剪映、輕顏、FaceU、醒圖等多個業務。目前與特效平臺打通,部分業務已完全置信特效效能結果,無需人工干預特效測試流程。目前穩定性在 99%以上,問題發現率在 22%左右。

總結

創作質量平臺致力於打造一套高效、準確、全自動的資源檢測流程,在保障質量的前提下,提高使用者的使用感受和創作者的投稿熱情。同時引入演算法賦能,智慧化的解決自動化無法覆蓋的檢測內容,未來我們也將進一步提升演算法檢測能力,覆蓋更多層面,更好的與位元組系產品使用場景對齊,從能效方面為公司級產品保駕護航。

加入我們

我們是位元組跳動互娛研發效能團隊,互娛研發負責抖音、抖音火山版、剪映、FaceU、輕顏、直播、音樂等多款明星產品的研發,目前,抖音日活(DAU)已經突破 6 億,並繼續保持高速增長。

研發效能團隊主打服務化+智慧化, 旨在通過工具平臺+演算法,賦能互娛的各個業務場景,團隊職能包括但不限於提升研發效能,保證內容質量,優化使用者體驗,保障業務安全等。

團隊擁有演算法,工程(前端、後臺以及客戶端)、資料(大資料、DA)、產品、測試等多種職能崗位,可以高效自閉環進行智慧平臺產品的設計研發,具有多個公司級影響力的智慧化平臺產品成功落地經驗。

團隊發展迅速,年輕富有朝氣,注重技術氛圍建設,積極參與國內外各頂尖行業技術會議,輸出高質量技術專利和相關論文,工作 Base 地有深圳、杭州、北京多地可選。

加入我們,讓你的每一行程式碼都能服務全球億萬使用者。

簡歷投遞郵箱: [email protected] ;郵件標題: 姓名 - 技術棧 - 研發效能

點個在看殺個 Bug ❤