使用 Node.js 對(duì)文本內(nèi)容分詞和關(guān)鍵詞抽取
在討論技術(shù)前先賣個(gè)萌，吃貨的世界你不懂~~
眾成翻譯的文章有 tag，用戶可以基于 tag 來(lái)快速篩選感興趣的文章，文章也可以依照 tag 關(guān)聯(lián)來(lái)進(jìn)行相關(guān)推薦。但是現(xiàn)在眾成翻譯的 tag 是在推薦文章的時(shí)候設(shè)置的，都是英文的，而且人工設(shè)置難免不規(guī)范和不完全。雖然發(fā)布文章后也可以人工編輯，但是我們也不能指望用戶或管理員能夠時(shí)時(shí)刻刻編輯出恰當(dāng)?shù)?tag，所以我們需要用工具來(lái)自動(dòng)生成 tag。
在現(xiàn)在開(kāi)源的分詞工具里面，jieba是一個(gè)功能強(qiáng)大性能優(yōu)越的分詞組件，更幸運(yùn)地是，它有 node 版本。
nodejieba 的安裝和使用十分簡(jiǎn)單：
我們可以載入自己的字典，在字典里給每個(gè)詞分別設(shè)置權(quán)重和詞性：
編輯 user.uft8
地瓜 9999 n
金箍 9999 n
棒就棒在 9999
然后通過(guò) nodejieba.load 加載字典。
除了分詞以外，我們可以利用 nodejieba 提取關(guān)鍵詞：
const content = `
HTTP、HTTP/2與性能優(yōu)化
本文的目的是通過(guò)比較告訴大家，為什么應(yīng)該從HTTP遷移到HTTPS，以及為什么應(yīng)該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。
什么是HTTP
HTTP是在萬(wàn)維網(wǎng)上通信的一組規(guī)則。HTTP屬于應(yīng)用層協(xié)議，跑在TCP/IP層之上。用戶通過(guò)瀏覽器請(qǐng)求網(wǎng)頁(yè)時(shí)，HTTP負(fù)責(zé)處理請(qǐng)求并在Web服務(wù)器與客戶端之間建立連接。
有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應(yīng)該使用這些技術(shù)。不過(guò)這已經(jīng)清楚表明了我們從HTTP/1.1移動(dòng)到HTTP/2的必要性。
`;
const nodejieba = require("nodejieba");
const result = nodejieba.extract(content, 20);
console.log(result);輸出的結(jié)果類似下面這樣：
[ { word: 'HTTP', weight: 140.8704516850025 },
{ word: '請(qǐng)求', weight: 14.23018001394 },
{ word: '應(yīng)該', weight: 14.052171126120001 },
{ word: '萬(wàn)維網(wǎng)', weight: 12.2912397395 },
{ word: 'TCP', weight: 11.739204307083542 },
{ word: '1.1', weight: 11.739204307083542 },
{ word: 'Web', weight: 11.739204307083542 },
{ word: '雪碧圖', weight: 11.739204307083542 },
{ word: 'HTTPS', weight: 11.739204307083542 },
{ word: 'IP', weight: 11.739204307083542 },
{ word: '應(yīng)用層', weight: 11.2616203224 },
{ word: '客戶端', weight: 11.1926274509 },
{ word: '瀏覽器', weight: 10.8561552143 },
{ word: '拼接', weight: 9.85762638414 },
{ word: '比較', weight: 9.5435285574 },
{ word: '網(wǎng)頁(yè)', weight: 9.53122979951 },
{ word: '服務(wù)器', weight: 9.41204128224 },
{ word: '使用', weight: 9.03259988558 },
{ word: '必要性', weight: 8.81927328699 },
{ word: '添加', weight: 8.0484751722 } ]我們添加一些新的關(guān)鍵詞到字典里：
性能
HTTP/2
輸出結(jié)果如下：
[ { word: 'HTTP', weight: 105.65283876375187 },
{ word: 'HTTP/2', weight: 58.69602153541771 },
{ word: '請(qǐng)求', weight: 14.23018001394 },
{ word: '應(yīng)該', weight: 14.052171126120001 },
{ word: '性能', weight: 12.61259281884 },
{ word: '萬(wàn)維網(wǎng)', weight: 12.2912397395 },
{ word: 'IP', weight: 11.739204307083542 },
{ word: 'HTTPS', weight: 11.739204307083542 },
{ word: '1.1', weight: 11.739204307083542 },
{ word: 'TCP', weight: 11.739204307083542 },
{ word: 'Web', weight: 11.739204307083542 },
{ word: '雪碧圖', weight: 11.739204307083542 },
{ word: '應(yīng)用層', weight: 11.2616203224 },
{ word: '客戶端', weight: 11.1926274509 },
{ word: '瀏覽器', weight: 10.8561552143 },
{ word: '拼接', weight: 9.85762638414 },
{ word: '比較', weight: 9.5435285574 },
{ word: '網(wǎng)頁(yè)', weight: 9.53122979951 },
{ word: '服務(wù)器', weight: 9.41204128224 },
{ word: '使用', weight: 9.03259988558 } ]在這個(gè)基礎(chǔ)上，我們采用白名單的方式過(guò)濾出一些可以作為 tag 的詞：
const content = `
HTTP、HTTP/2與性能優(yōu)化
本文的目的是通過(guò)比較告訴大家，為什么應(yīng)該從HTTP遷移到HTTPS，以及為什么應(yīng)該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。
什么是HTTP
HTTP是在萬(wàn)維網(wǎng)上通信的一組規(guī)則。HTTP屬于應(yīng)用層協(xié)議，跑在TCP/IP層之上。用戶通過(guò)瀏覽器請(qǐng)求網(wǎng)頁(yè)時(shí)，HTTP負(fù)責(zé)處理請(qǐng)求并在Web服務(wù)器與客戶端之間建立連接。
有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應(yīng)該使用這些技術(shù)。不過(guò)這已經(jīng)清楚表明了我們從HTTP/1.1移動(dòng)到HTTP/2的必要性。
`;
const nodejieba = require("nodejieba");
nodejieba.load({
userDict: './user.utf8',
});
const result = nodejieba.extract(content, 20);
const tagList = ['HTTPS', 'HTTP', 'HTTP/2', 'Web', '瀏覽器', '性能'];
console.log(result.filter(item => tagList.indexOf(item.word) >= 0));最后得到：
[ { word: 'HTTP', weight: 105.65283876375187 },
{ word: 'HTTP/2', weight: 58.69602153541771 },
{ word: '性能', weight: 12.61259281884 },
{ word: 'HTTPS', weight: 11.739204307083542 },
{ word: 'Web', weight: 11.739204307083542 },
{ word: '瀏覽器', weight: 10.8561552143 } ]這就是我們想要的結(jié)果。
以上就是分詞庫(kù) nodejieba 基本的使用方法，在將來(lái)我們可以利用它對(duì)眾成翻譯發(fā)布的譯文自動(dòng)分析添加相應(yīng)的 tag，以為各位譯者和讀者提供更好的用戶體驗(yàn)。
以上所述是小編給大家介紹的使用 Node.js 對(duì)文本內(nèi)容分詞和關(guān)鍵詞抽取，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
node.js中實(shí)現(xiàn)同步操作的3種實(shí)現(xiàn)方法
這篇文章主要介紹了node.js中實(shí)現(xiàn)同步操作的3種實(shí)現(xiàn)方法,本文用實(shí)例講解一些需要同步操作的情況下,如何編程實(shí)現(xiàn),需要的朋友可以參考下2014-12-12
這是一篇專門Node.js初學(xué)者學(xué)習(xí)筆記。該筆記將通過(guò)具體實(shí)例，教你一步步開(kāi)始Node.js之旅。2014-07-07
node.js中的events.emitter.once方法使用說(shuō)明
這篇文章主要介紹了node.js中的events.emitter.once方法使用說(shuō)明,本文介紹了events.emitter.once的方法說(shuō)明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
本篇文章主要介紹了使用 nvm 管理不同版本的 node 與 npm的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-10-10
node.js中的fs.statSync方法使用說(shuō)明
這篇文章主要介紹了node.js中的fs.statSync方法使用說(shuō)明,本文介紹了fs.statSync的方法說(shuō)明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
Nodejs 和Session 原理及實(shí)戰(zhàn)技巧小結(jié)
這篇文章主要介紹了Nodejs 和Session 原理及實(shí)戰(zhàn)技巧小結(jié),需要的朋友可以參考下2017-08-08
這篇文章主要介紹了npm配置國(guó)內(nèi)鏡像資源+淘寶鏡像的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-09-09
node.js中的path.extname方法使用說(shuō)明
這篇文章主要介紹了node.js中的path.extname方法使用說(shuō)明,本文介紹了path.extname的方法說(shuō)明、語(yǔ)法、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
electron原理，以及electron生成可執(zhí)行文件的方法實(shí)例分析
這篇文章主要介紹了electron原理，以及electron生成可執(zhí)行文件的方法,結(jié)合實(shí)例形式分析了electron原理以及electron生成可執(zhí)行文件的具體操作步驟、實(shí)現(xiàn)方法與相關(guān)注意事項(xiàng),需要的朋友可以參考下2023-04-04
你懂JavaScript嗎?你需要寫一個(gè)Shell腳本嗎?那么你應(yīng)該試一下Node.js,它很容易安裝,而且很適合通過(guò)寫Shell腳本來(lái)學(xué)習(xí)它,下面這篇文章主要給大家介紹了關(guān)于nodejs編寫bash腳本的終極方案,需要的朋友可以參考下2021-08-08