OCR+NLP 提取資訊並分析,這個開源專案火了!

語言: CN / TW / HK

文字是傳遞資訊的高效途徑,利用 OCR 技術提取文字資訊是各行業向數字智慧化轉型的第一步。

與此同時,針對 OCR 提取的海量文字資訊,利用 NLP 技術進一步加工提取、分析理解後才能最大化發揮文字資訊的價值。NLP 技術可以提升 OCR 準確率,並從文字中抽取關鍵資訊、構建知識圖譜,搭建檢索、推薦、問答系統等。

 

 

雖然各行業智慧化產業升級已經在如火如荼的開展中,但是在實際應用落地中卻遇到諸多困難,比如:資料樣本不夠、模型精度不高、預測時延大等。為此,百度飛槳針對真實、高頻的產業場景,提供了從資料準備、模型訓練優化,到模型部署全流程的案例教程。

 

聽說文件和程式碼已經開源了,來吧⬇️

https://github.com/PaddlePaddle/awesome-DeepLearning

 

 

01

OCR+NLP串聯技術難點

市面上有不少開源的 OCR、NLP 產品,但是如果想直接利用這些工具,會面臨底層框架不統一、串聯難度高、效果無法保證等問題。PaddleOCR 和 PaddleNLP 是面向產業界的開發庫,均基於飛槳開源框架最新版本,能夠將 OCR 和 NLP 技術無縫結合。

 

今天我們針對金融行業研報、物流快遞單,來看看 OCR + NLP 資訊抽取技術的應用。

 

 

02

OCR+NLP 金融研報分析

當前,諸多投資機構都通過研報的形式給出對於股票、基金以及行業的判斷,讓大眾瞭解熱點方向、龍頭公司等各類資訊。然而,分析和學習研報往往花費大量時間,研報數量的與日俱增也使得研報智慧分析訴求不斷提高。這裡我們採用命名實體識別技術,自動抽取研報中的關鍵資訊,例如,“中國銀行成立於1912年。”中包含了組織機構、場景事件、時間等實體資訊。

 

 

OCR+NLP Pipeline

 

針對研報資料的命名實體識別與詞頻統計整體流程如上圖所示。首先將研報 pdf 資料使用 fitz 包拆分為影象格式,然後利用 PaddleOCR 套件在研報資料集上微調 PP-OCR[1]的檢測模型,使用現有的識別模型獲得文字資訊。PP-OCR 是 PaddleOCR 中由百度自研的明星模型系列,由文字檢測、文字方向分類器與文字識別模組串聯而成。

 

PP-OCR Pipeline

 

對 OCR 識別出的文字進行整理後,呼叫 PaddleNLP 中的 Taskflow API 抽取文字資訊中的組織機構實體。最後對這些實體進行詞頻統計,就可初步判定當前研報分析的熱點機構。

 

Taskflow 使用示意圖

 

目前,Taskflow API 支援自然語言理解(NLU)和生成(NLG)兩大場景共八大任務,包括中文分詞、詞性標註、命名實體識別、句法分析、文字糾錯、情感分析、生成式問答和智慧寫詩,均可一鍵呼叫。

 

 

03

物流快遞單資訊抽取

雙十一要到了,想必很多人都預備了一個滿滿的購物車。去年雙十一成交量4982億元,全國快遞企業共處理快件39億件,這背後則是物流行業工作量的驟增。除了滿負荷的長深高速公路,還有繁忙的快遞小哥。無論是企業業務彙總,還是寄件資訊填寫,都少不了關鍵資訊智慧提取這一環節,這其中均採用了命名實體識別技術。

 

 

命名實體識別大體上有三種方案:字串匹配、統計語言模型、序列標註。前兩種方法需要預先構建詞典、窮舉所有實體,無法發現新詞、變體等。本案例中採用了目前的主流方法——序列標註。

 

資料集包括1600條訓練集,200條訓練集和200條測試集,採用 BIO 體系進行標註。

 

  實體定義和資料集標註示例

 

 

針對輕量化、高精度的需求,可以選用 RNN+CRF 方案。也可以採用預訓練模型,通過模型壓縮、動轉靜加速等方式滿足精度和效能的要求。我們採用 Ernie-Gram[2] + CRF 獲得了最佳效果。

 

 

此外,命名實體識別技術可以應用於各類關鍵資訊的提取,例如電商評論中的商品名稱、電子發票中的擡頭資訊、收入證明中的金額、法律文書中的犯罪地點等資訊。結合關係抽取、事件抽取技術,還可以構建知識圖譜、搭建問答系統等。

 

🔹PaddleOCR 專案地址:

https://github.com/PaddlePaddle/PaddleOCR

🔹PaddleNLP 專案地址:

https://github.com/PaddlePaddle/PaddleNLP

 

參考文獻

[1] PP-OCR: A Practical Ultra Lightweight OCR System

(https://arxiv.org/pdf/2009.09941.pdf)

[2] ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding

(https://arxiv.org/pdf/2010.12148.pdf)

點選進入獲得更多技術資訊~~