10w+訓練標籤?成本太高!PaddleNLP情感分析賦能消費“回暖”

語言: CN / TW / HK

隨着餐飲行業進入線上線下、堂食外賣並重的“雙主場”時代,面對鋪天蓋地的用户評論數據,如何用數字化手段優化經營成為餐飲企業降本增效的關鍵。

黑蟻資本,是一家來自上海的深耕消費領域投資的企業,成立之初就決心讓“投後服務”成為機構的核心能力之一,而“數字化”正是黑蟻服務被投企業的重要內容。為了幫助被投企業提升評價數據的處理效率,黑蟻投後數字化團隊基於PaddleNLP情感分析技術,開發了用户評論洞察系統,幫助品牌高效深入瞭解用户反饋,自動抽取出高價值信息,實現量化統計分析,從而降低經營成本,優化產品和服務,提升市場競爭力。

據悉,情感分析技術(Sentiment Analysis Technology)是一種當前流行的旨在對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的技術,在消費決策、輿情分析、個性化推薦等領域都擁有廣泛的應用前景。

情感分析示意圖

初衷:想以更低成本,聆聽用户聲音

正如哈勃望遠鏡,哈勃輿情取“哈勃”二字是希望通過工具看見別人所看不到的東西,其開發的最初靈感來源於黑蟻投後團隊對消費行業數字化的洞察。

2021年初,黑蟻資本運營董事Jeru劉湛帶領黑蟻投後數字化團隊在對被投品牌做調研時發現,用户的反饋對驅動產品迭代、改進服務非常重要,但是聆聽用户聲音的成本卻很高

Jeru介紹,過去一個品牌想獲取用户評論情況,如NPS淨推薦值,包括推薦意願和復購意願,需要經過一系列的調研分析:請第三方公司採用問卷調查、實地攔截、線下采訪等方式進行調研;完成調研後再找打標籤的公司,人工在產品用户評論下抽取約2000條評論,在Excel表格裏打標籤標記。

上述這種方式存在明顯的問題。一方面,調研採集到的樣本的數據量有限且真實性有待考證,大大影響後續分析的客觀性和準確性;另一方面,人工打標籤的方式不僅標註不統一,主觀性強,而且操作成本非常高。

Jeru回憶到,當時市場上大多數的產品只是單純用陳舊的技術做評論分析,精準度和精細度並不是很高。他就思考,如何將用户評論洞察自動化,讓非結構化的評論數據變成結構化的數據呢?因為只有結構化的數據才方便量化統計分析,使經營者更直觀快捷地瞭解用户,獲得科學的指引,從而實現精準的產品運營決策。

瓶頸: PaddleNLP解研發燃眉之急

在經過半年的市場調研後,Jeru迅速組織技術專家投入到研發中,在團隊共同努力下,歷經兩年時間,黑蟻終於自主研發出用户評論洞察系統哈勃輿情,截止到目前,黑蟻已經發布了30多個系統版本,基本上每週都會更新迭代一次。

哈勃輿情類似於一個智能化“顧客情感温度計”,它能從不同的維度來感知顧客在不同指標上的情緒並進行分析,比如,用户會對某一種品牌的評價經常提到某一項(提及率,代表用户的心智),在一句評論中可能會表達多個“觀點”,這些“觀點”往往包含三要素:維度、觀點詞、情感。維度一般是名詞(比如菜品、價格),觀點詞一般是形容詞(比如辣、豐富),兩者合在一起表達的是一種某東西怎麼樣的觀點,哈勃輿情可以判斷顧客所表達觀點情感是正向還是負向,最後將情緒指標得分以量化的形式呈現給經營管理者,從而幫助品牌商找到問題。

哈勃輿情繫統圖研發過程並非一帆風順。哈勃輿情剛開始研發模型做情感預測時,他們只能判斷整句評論(粗粒度)的好壞,而無法對多觀點獨立(細粒度)做預測情感,致使情感預測結論數據準確率不高,研發進入了瓶頸。

2022年5月,一次偶然的機會,Jeru在GitHub上看到PaddleNLP開源了通用信息抽取技術UIE,他當時感覺UIE非常適合哈勃輿情的研發,或許可以解決困擾他們已久的難題。

據瞭解,UIE是一個大一統諸多任務的開放域信息抽取技術方案,開創了基於Prompt的信息抽取多任務統一建模方式。PaddleNLP結合文心大模型中的知識增強NLP大模型文心ERNIE 3.0,發揮了UIE在中文任務上的強大潛力,推出面向通用信息抽取的產業級技術方案。

由於PaddleNLP在情感分析能力上表現優異,能夠完成涉及句子級情感極性分類、屬性抽取、觀點抽取、屬性級情感極性分類等多項情感任務,並提供可視化能力,幫助用户快速分析業務數據,這極大幫助了黑蟻投後數字化團隊開發哈勃輿情,也幫他們節省了大量的訓練成本。

“沒有出現通用模型之前,開發者需要分行業去訓練模型,要知道一個行業要用到10萬以上量級的標籤來訓練模型,才會取得比較好的效果。”Jeru感慨到訓練成本太高。

Jeru進一步解釋説,在預訓練大模型出來之前,傳統的技術方案下,幾乎所有的NLP公司都傾向於找打標籤的人員通過打標籤的方式來訓練自己的模型。但有了預訓練大模型後,整個行業的玩法發生了改變。現在大家只需要使用一個通用的大模型,無需標註,或僅需少量標註,就能對獨立觀點進行精準情感預測,這樣就極大降低了開發成本。同時基於UIE的技術方案不限定行業領域和抽取目標,可零樣本快速冷啟動各類信息抽取任務,加上強悍的小樣本微調能力,使得觀點抽取查全率與精準率大幅提升。

具體來説,在UIE-base和fp32精度下,相較人工至少需要一天時間來統計1000條樣本的情況,該系統的細粒度抽取觀點效率約為30條/分鐘,粗粒度情感判定約為135條/分鐘,經過行業微調後的數據準確率達到了85%以上

終極:希望以交互方式回答人類問題

據瞭解,哈勃輿情繫統不僅供黑蟻的投資團隊用於行業分析報告研究,還幫助黑蟻投資的諸多品牌傾聽用户的聲音,實現降本增效。

例如,黑蟻為被投企業某區域火鍋品牌做菜品分析時,系統針對菜品建立專門指標體系,進行評估量化,逐月分析菜品的變化,幫助品牌找出了可優化的菜品,調整更新了口味、配方和原料,最終讓火鍋店用户對菜品的評分從60分提高到90分。

此外,黑蟻團隊在開展縣域中青年消費需求研究時,將田野和定量調研回收的數據交由哈勃輿情來處理,憑藉其強大的語義解析AI模型幫助團隊更高效地瞭解具體品類下縣域消費者心智。

關於未來的產品規劃,黑蟻將花更多時間精力針對不同行業進行樣本微調,不斷完善模型的識別能力。
Jeru談到,“我們希望系統未來能以交互的方式給出回答。當我問系統‘為什麼某品牌的用户忠誠度更高‘的問題時,它不再是以詞語的方式給出答案,而是以人類語言的方式組織觀點,更直觀地告訴我答案,我認為這是一個終極。”

如今,利用人工智能技術促進經營轉型已經在消費行業獲得越來越多的認可與推崇。餐飲、電商、零售……新消費浪潮下的各個品牌正在新品開發、品牌建設、銷售服務等方面推進智能化升級,通過AI優化業務場景,努力與用户建立更有温度的聯接,不斷提升企業的市場競爭力。

未來,飛槳將攜手更多金融投資機構持續助力消費行業,在情感分析能力方面,通過情感傾向分析、評論觀點抽取、對話情緒識別等場景化能力,以AI技術賦能消費行業數字化轉型,共同探索“深度學習+”消費的創新之路,為消費行業智能化升級注入更強大動力。

參考

  • PaddleNLP 情感分析方案

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/sentiment_analysis

https://github.com/PaddlePaddle/PaddleNLP