使用 Node.js 對文字內容分詞和關鍵詞抽取

語言: CN / TW / HK

在討論技術前先賣個萌,吃貨的世界你不懂~~

img

眾成翻譯的文章有 tag,使用者可以基於 tag 來快速篩選感興趣的文章,文章也可以依照 tag 關聯來進行相關推薦。但是現在眾成翻譯的 tag 是在推薦文章的時候設定的,都是英文的,而且人工設定難免不規範和不完全。雖然釋出文章後也可以人工編輯,但是我們也不能指望使用者或管理員能夠時時刻刻編輯出恰當的 tag,所以我們需要用工具來自動生成 tag。

在現在開源的分詞工具裡面,jieba是一個功能強大效能優越的分片語件,更幸運地是,它有 node 版本

nodejieba 的安裝和使用十分簡單:

npm install nodejieba
var nodejieba = require("nodejieba");
var result = nodejieba.cut("帝國主義要把我們的地瓜分掉");
console.log(result);
//[ '帝國主義', '要', '把', '我們', '的', '地', '瓜分', '掉' ]

result = nodejieba.cut('土地,俺老孫的金箍棒在哪裡?');
console.log(result);
//[ '土地', ',', '俺', '老', '孫', '的', '金箍棒', '在', '哪裡', '?' ]

result = nodejieba.cut('大聖,您的金箍棒就棒在特別配您的頭型!');
console.log(result); 
//[ '大聖',',','您','的','金箍棒','就','棒','在','特別','配','您','的','頭型','!' ]
複製程式碼

我們可以載入自己的字典,在字典裡給每個詞分別設定權重和詞性:

編輯 user.uft8

地瓜 9999 n
金箍 9999 n
棒就棒在 9999
複製程式碼

然後通過 nodejieba.load 載入字典。

var nodejieba = require("nodejieba");

nodejieba.load({
  userDict: './user.utf8',
});

var result = nodejieba.cut("帝國主義要把我們的地瓜分掉");
console.log(result);
//[ '帝國主義', '要', '把', '我們', '的', '地瓜', '分', '掉' ]

result = nodejieba.cut('土地,俺老孫的金箍棒在哪裡?');
console.log(result);
//[ '土地', ',', '俺', '老', '孫', '的', '金箍棒', '在', '哪裡', '?' ]

result = nodejieba.cut('大聖,您的金箍棒就棒在特別配您的頭型!');
console.log(result); 
//[ '大聖', ',', '您', '的', '金箍', '棒就棒在', '特別', '配', '您', '的', '頭型', '!' ]
複製程式碼

除了分詞以外,我們可以利用 nodejieba 提取關鍵詞:

const content = `
HTTP、HTTP/2與效能優化

本文的目的是通過比較告訴大家,為什麼應該從HTTP遷移到HTTPS,以及為什麼應該新增到HTTP/2的支援。在比較HTTP和HTTP/2之前,先看看什麼是HTTP。

什麼是HTTP
HTTP是在全球資訊網上通訊的一組規則。HTTP屬於應用層協議,跑在TCP/IP層之上。使用者通過瀏覽器請求網頁時,HTTP負責處理請求並在Web伺服器與客戶端之間建立連線。

有了HTTP/2,不使用雪碧圖、壓縮、拼接,也可以提升效能。然而,這不代表不應該使用這些技術。不過這已經清楚表明了我們從HTTP/1.1移動到HTTP/2的必要性。
`;

const nodejieba = require("nodejieba");

const result = nodejieba.extract(content, 20);

console.log(result);
複製程式碼

輸出的結果類似下面這樣:

[ { word: 'HTTP', weight: 140.8704516850025 },
  { word: '請求', weight: 14.23018001394 },
  { word: '應該', weight: 14.052171126120001 },
  { word: '全球資訊網', weight: 12.2912397395 },
  { word: 'TCP', weight: 11.739204307083542 },
  { word: '1.1', weight: 11.739204307083542 },
  { word: 'Web', weight: 11.739204307083542 },
  { word: '雪碧圖', weight: 11.739204307083542 },
  { word: 'HTTPS', weight: 11.739204307083542 },
  { word: 'IP', weight: 11.739204307083542 },
  { word: '應用層', weight: 11.2616203224 },
  { word: '客戶端', weight: 11.1926274509 },
  { word: '瀏覽器', weight: 10.8561552143 },
  { word: '拼接', weight: 9.85762638414 },
  { word: '比較', weight: 9.5435285574 },
  { word: '網頁', weight: 9.53122979951 },
  { word: '伺服器', weight: 9.41204128224 },
  { word: '使用', weight: 9.03259988558 },
  { word: '必要性', weight: 8.81927328699 },
  { word: '新增', weight: 8.0484751722 } ]
複製程式碼

我們新增一些新的關鍵詞到字典裡:

效能
HTTP/2
複製程式碼

輸出結果如下:

[ { word: 'HTTP', weight: 105.65283876375187 },
  { word: 'HTTP/2', weight: 58.69602153541771 },
  { word: '請求', weight: 14.23018001394 },
  { word: '應該', weight: 14.052171126120001 },
  { word: '效能', weight: 12.61259281884 },
  { word: '全球資訊網', weight: 12.2912397395 },
  { word: 'IP', weight: 11.739204307083542 },
  { word: 'HTTPS', weight: 11.739204307083542 },
  { word: '1.1', weight: 11.739204307083542 },
  { word: 'TCP', weight: 11.739204307083542 },
  { word: 'Web', weight: 11.739204307083542 },
  { word: '雪碧圖', weight: 11.739204307083542 },
  { word: '應用層', weight: 11.2616203224 },
  { word: '客戶端', weight: 11.1926274509 },
  { word: '瀏覽器', weight: 10.8561552143 },
  { word: '拼接', weight: 9.85762638414 },
  { word: '比較', weight: 9.5435285574 },
  { word: '網頁', weight: 9.53122979951 },
  { word: '伺服器', weight: 9.41204128224 },
  { word: '使用', weight: 9.03259988558 } ]
複製程式碼

在這個基礎上,我們採用白名單的方式過濾出一些可以作為 tag 的詞:

const content = `
HTTP、HTTP/2與效能優化

本文的目的是通過比較告訴大家,為什麼應該從HTTP遷移到HTTPS,以及為什麼應該新增到HTTP/2的支援。在比較HTTP和HTTP/2之前,先看看什麼是HTTP。

什麼是HTTP
HTTP是在全球資訊網上通訊的一組規則。HTTP屬於應用層協議,跑在TCP/IP層之上。使用者通過瀏覽器請求網頁時,HTTP負責處理請求並在Web伺服器與客戶端之間建立連線。

有了HTTP/2,不使用雪碧圖、壓縮、拼接,也可以提升效能。然而,這不代表不應該使用這些技術。不過這已經清楚表明了我們從HTTP/1.1移動到HTTP/2的必要性。
`;

const nodejieba = require("nodejieba");

nodejieba.load({
  userDict: './user.utf8',
});

const result = nodejieba.extract(content, 20);

const tagList = ['HTTPS', 'HTTP', 'HTTP/2', 'Web', '瀏覽器', '效能'];

console.log(result.filter(item => tagList.indexOf(item.word) >= 0));
複製程式碼

最後得到:

[ { word: 'HTTP', weight: 105.65283876375187 },
  { word: 'HTTP/2', weight: 58.69602153541771 },
  { word: '效能', weight: 12.61259281884 },
  { word: 'HTTPS', weight: 11.739204307083542 },
  { word: 'Web', weight: 11.739204307083542 },
  { word: '瀏覽器', weight: 10.8561552143 } ]
複製程式碼

這就是我們想要的結果。

以上就是分詞庫 nodejieba 基本的使用方法,在將來我們可以利用它對眾成翻譯釋出的譯文自動分析新增相應的 tag,以為各位譯者和讀者提供更好的使用者體驗。

有任何問題,歡迎在討論區討論~