超精準!AI 結合郵件內容與附件的意圖理解與分類!
本站內容均來自興趣收集,如不慎侵害的您的相關權益,請留言告知,我們將盡快刪除.謝謝.
我報名參加金石計劃1期挑戰——瓜分10萬獎池,這是我的第11篇文章,點選檢視活動詳情
:blue_book:深度學習實戰系列: www.showmeai.tech/tutorials/4…
:blue_book:TensorFlow 實戰系列: www.showmeai.tech/tutorials/4…
:blue_book:本文地址: www.showmeai.tech/article-det…
:loudspeaker: 宣告:版權所有,轉載請聯絡平臺與作者並註明出處
:loudspeaker: 收藏ShowMeAI檢視更多精彩內容
對於很多企業而言,電子郵件仍然是主要溝通渠道之一,很多正式的內容也要基於郵件傳達,供應商、合作伙伴和公共管理部門也每天會有大量的電子郵件。郵件的資訊提取和處理可能是一項耗時且重複的任務,對擁有大量客戶的企業而言尤其是這樣。
:bulb: 場景 & 背景
有一些場景下,如果我們能借助於AI自動做一些內容和附件等識別,可以極大提高效率,例如以下這些場景:
保險公司的客戶索賠管理。
電信和公用事業企業客戶投訴處理。
銀行處理各種與抵押貸款相關的請求。
旅遊行業公司的預訂相關電子郵件。
如果我們希望儘量智慧與自動化地進行電子郵件處理,我們需要完成以下任務:
電子郵件分流 。我們希望智慧理解郵件,並將其轉到相應的專門業務部門進行處理。在AI的視角我們可以通過電子郵件的意圖分類來嘗試解決這個問題。
資訊提取 。根據確定的意圖,提取一些資訊給到下游流程,例如在CRM系統中記錄客戶案例進行跟蹤。
在本篇文章中,ShowMeAI 將專注於意圖檢測部分,我們將一起看一看如何設計一個AI系統來解決這個任務。
:sweat_drops: 場景 1
假設一家保險公司客戶,想申請理賠與報銷。 這個場景下他會填寫保險報銷表,並將其連同藥物收據和銀行 ID 檔案附在電子郵件中。可能的一個電子郵件可能長這樣:
:sweat_drops: 場景 2
假設一家銀行的客戶,搬家並對之前的某項服務費有疑問。 如果選擇傳送電子郵件來進行申請和處理,郵件可能長這樣:
:bulb: 實現方案
本文會涉及到NLP相關知識,有興趣更系統全面了NLP知識的寶寶,建議閱讀ShowMeAI 整理的自然語言處理相關教程和文章
:blue_book: 深度學習教程:吳恩達專項課程 · 全套筆記解讀
:blue_book: 深度學習教程 | 自然語言處理與詞嵌入
:blue_book: NLP教程 | 斯坦福CS224n · 課程帶學與全套筆記解讀
:blue_book: NLP教程(1) – 詞向量、SVD分解與Word2Vec
:blue_book: NLP教程(2) – GloVe及詞向量的訓練與評估
:sweat_drops: 架構初覽
我們前面提到了,在意圖識別場景中,我們經常會視作『多分類問題』來處理,但在我們當前場景下,有可能郵件覆蓋多個意圖目的,或者本身意圖之間有重疊,因此我們先將其視為多標籤分類問題。
然而,在許多現實生活場景中,多標籤分類系統可能會遇到一些問題:
電子郵件在大多數情況下是關於一個主要意圖,有時它們具有次要意圖,在極少數情況下還有第三個意圖。
很難找到涵蓋所有多標籤組合的標籤資料。
我們可以試著構建一個融合方案來解決,可以預測主要意圖並檢測剩餘的次要意圖和第三意圖,我們可以設計多輸出神經網路網路來實現這一點,如下圖所示。
我們涉及到2類輸入:電子郵件正文 和 附件,在深度學習場景下,我們都需要對它們做向量化標準。如下圖的架構是一個可行的嘗試方案:我們用transformer類的模型對正文進行編碼和向量化標註,而對於附件,可以用相對簡單的NLP編碼器,比如TF-IDF。
:sweat_drops: 實現細節
① 電子郵件正文:AI理解&處理
整個方案中最重要的輸入是正文資料,我們在深度學習中,需要把非結構化的資料表徵為向量化形式,方便模型進行資訊融合和建模,在自然語言處理NLP領域,我們也有一些典型的向量化嵌入技術可以進行對文字處理。
最『簡單』的處理方法之一是使用 :blue_book: TF-iDF + :blue_book: PCA 。
對於文字(詞與句)嵌入更現代一些的 NLP 方法,例如 Word2Vec 和 :blue_book: Doc2Vec
,它們分別使用淺層神經網路來學習單詞和文字嵌入。大家可以使用 gensim
工具庫或者 fasttext
工具庫完成文字嵌入,也有很多預訓練的詞嵌入和文字嵌入的模型可以使用。
關於 TF-IDF 和 DocVec 的詳細知識,可以檢視ShowMeAI 的文章 :blue_book: 基於NLP文件嵌入技術的基礎文字搜尋引擎構建 。
現在最先進的技術是基於 transformer 的預訓練語言模型(例如 :blue_book: BERT )來構建『上下文感知』文字嵌入。我們上面的方案中也是使用最先進的深度學習方法——直接使用 :blue_book: HuggingFace 的 :blue_book: 預訓練模型 和 :blue_book: API 來構建正文文字嵌入。
transformer 系列的模型有很多隱層,我們可以有很多方式獲取文字的向量化表徵,比如對最後的隱層做『平均池化』獲得文字嵌入,我們也可以用倒數第二層或倒數第三層(它們在理論上較少依賴於訓練語言模型的文字語料庫)。
對文字做嵌入表示的示例程式碼如下:
# 大家可以先命令列執行下列程式碼安裝sentence-transformers # pip install -U sentence-transformers from sentence_transformers import SentenceTransformer # 需要編碼的文字內容列表 sentences = ["This is example sentence 1", "This is example sentence 2"] # 編碼,文字向量化嵌入表徵 model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2') embeddings = model.encode(sentences) print(embeddings)
② 電子郵件附件:AI理解&處理
我們在這個解決方案中,單獨把郵件附件拿出來做處理了。在有些處理方式中,會把附件的內容和正文直接拼接,用上面介紹的方式進行編碼,但這樣處理不夠精細,可能有如下問題而導致最後模型效果不佳:
附件文字可能非常大,包含許多多餘的內容,這些內容可能會淹沒電子郵件正文中更重要的微妙細節。
對於意圖檢測而言,重要的是文件的性質或型別,而不是詳細的內容。
基於上述考慮,我們單獨訓練附件分類器來生成附件的密集向量表示。可能我們的附件包含不規則的 PDF 或者圖片,我們可能要考慮用 OCR 引擎(例如 Tesseract)進行識別和提取部分內容,
假設我們的附件數量為N,DC 是經過訓練的附件分類器。DC對每個附件預測處理輸出一個向量(文件型別分佈概率向量)。 由於最終的附件向量表示需要具有固定長度(但是N是不確定的),我們在附件維度上使用最大池化得到統一長度的表徵。
以下是為給定電子郵件生成附件向量化表徵的程式碼示例:
# DC是文件分類器 distributions = [] for attachment in attachments: current_distribution = DC(attachent) distributions.append(current_distribution) np_distributions = np.array(distributions) #維度為(X,N)的附件向量組 attachments_feat_vec = np.max(np_distributions, axis=0) #最大池化
③ 搭建多資料來源混合網路
下面部分使用到了TensorFlow工具庫,ShowMeAI 製作了快捷即查即用的工具速查表手冊,大家可以在下述位置獲取: :blue_book: TensorFlow速查手冊
在上述核心輸入處理和表徵後,我們就可以使用 Tensorflow 構建一個多分支神經網路了。參考程式碼如下:
def build_hybrid_mo_model(bert_input_size, att_features_size, nb_classes): emb_input = tf.keras.Input(shape=(bert_input_size,), name="text_embeddings_input") att_classif_input = tf.keras.Input(shape=(att_features_size,), name="attachments_repr_input") DenseEmb1 = tf.keras.layers.Dense(units=256, activation='relu')(emb_input) compressed_embs = tf.keras.layers.Dense(units=32, activation='relu', name="compression_layer")(DenseEmb1) combined_features = tf.keras.layers.concatenate([compressed_embs,att_classif_input], axis=1) Dense1= tf.keras.layers.Dense(units=128)(combined_features) Dense2= tf.keras.layers.Dense(units=128)(Dense1) out1 = tf.keras.layers.Dense(units=nb_classes, name="intention_category_output")(Dense2) out2 = tf.keras.layers.Dense(units=1, name="information_request_output")(Dense2) model = tf.keras.Model(inputs=[emb_input,att_classif_input], outputs=[out1, out2]) losses = { "intention_category_output" : tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), "information_request_output" : tf.keras.losses.BinaryCrossentropy(from_logits=True)} model.compile(optimizer="adam",loss= losses, metrics=["accuracy"]) print (model.summary()) return model
構建完模型之後,可以通過 tf.keras.utils.plot_model
打印出模型架構,如下圖所示:
上圖的模型架構,和我們在『架構初覽』板塊的設計完全一致*,*它包含更多的細節資訊:
電子郵件正文文字嵌入,維度為768維
附件檔案包含8種類型,向量化表徵為8維
模型的輸出部分包含:
7個主要意圖
1個次要意圖
④ 訓練&評估
作為測試,作者在銀行業務相關電子郵件的專有資料集上訓練了模型,具體情況如下:
資料集由 1100 封電子郵件組成,包含 7 個主要意圖,但分佈不均。
構建的神經網路包含 22.7w 個引數( 具體細節如上圖,大家也可以通過model.summary()輸出模型資訊)。
以batch size大小為32訓練了 50 個 epoch
實際沒有使用到GPU,在16核的CPU上做的訓練(但大家使用GPU一定有更快的速度)
主要意圖分類任務上達到了 87% 的加權 F1 分數平均值。如果不使用附件,加權 F1 分數平均值降低10%。(可見2部分資訊都非常重要)
:bulb: 總結
我們通過對電子郵件自動意圖識別和歸類場景進行分析和處理,構建了有效的混合網路高效地完成了這個任務。這裡面非常值得思考的點,是不同型別的資料輸入與預處理,合適的技術選型(並非越複雜越好),充分又恰當的輸入資訊融合方式。
大家在類似的場景問題下,還可以嘗試不同的正文預處理和附件分類模型,觀察效果變化。其餘的一些改進點包括,對於預估不那么肯定(概率偏低)的郵件樣本,推送人工稽核分類,會有更好的效果。
參考資料
:blue_book: AI實戰 | 基於NLP文件嵌入技術的基礎文字搜尋引擎構建 : showmeai.tech/article-det…
:blue_book: TensorFlow 速查手冊 : www.showmeai.tech/article-det…
:blue_book: 深度學習教程:吳恩達專項課程 · 全套筆記解讀 : www.showmeai.tech/tutorials/3…
:blue_book: 深度學習教程 | 自然語言處理與詞嵌入 : www.showmeai.tech/article-det…
:blue_book: NLP教程 | 斯坦福CS224n · 課程帶學與全套筆記解讀 : www.showmeai.tech/tutorials/3…
:blue_book: NLP教程(1) – 詞向量、SVD分解與Word2Vec : www.showmeai.tech/article-det…
:blue_book: NLP教程(2) – GloVe及詞向量的訓練與評估 : www.showmeai.tech/article-det…
:blue_book: TF-iDF : scikit-learn.org/stable/modu…
:blue_book: PCA : scikit-learn.org/stable/modu…
:blue_book: Doc2Vec : radimrehurek.com/gensim/mode…
:blue_book: BERT :[ huggingface.co/docs/transf… huggingface.co/docs/transf…
:blue_book: HuggingFace : huggingface.co/
- 全自動資料建模平臺打造建模新正規化,人人都能成為資料科學家 | 愛分析調研
- 如何用DBSCAN聚類模型做資料分析?
- 精準使用者畫像!商城使用者分群2.0!
- Test time adaptation方法總結
- 超精準!AI 結合郵件內容與附件的意圖理解與分類!
- AI加速器與機器學習演算法:協同設計與進化
- 使用SINet進行偽裝目標檢測
- ECCV 2022 Oral | 理解藝術字:用於場景文字識別的角點引導Transformer
- AI醫療高精尖!基於AI的新葯研發!
- 谷歌&北大擴散模型(Diffusion Model)首篇綜述-Diffusion Models: A Comprehensive Survey of Meth…
- 協同過濾演算法——基於物品(Item)
- MLOps對比DevOps:有什么區別?
- CVPR 2022 | UniDet:通用的多資料集目標檢測
- ECCV 2022 | k-means Mask Transformer
- IS 2022 | 位元組AI Lab聯合南科大提出:利用偽標註資料提升端到端S2ST
- 自定義分詞起始規則實現關鍵詞全詞高亮專案實戰(全語種通吃)
- 電商搜尋全鏈路(PART II)Query理解
- 機器學習分類問題:九個常用的評估指標總結
- 簡單的文字分類任務:不借助Trainer實現
- Macbook Pro M1晶片使用Pytorch進行深度學習小試