Python 比較文本相似性的方法(difflib,Levenshtein)
最近工作需要用到序列匹配，檢測相似性，不過有點(diǎn)復(fù)雜的是輸入長度是不固定的，舉例為：
input_and_output = [1, 2, '你好', 世界', 12.34, 45.6, -21, '中國', '美麗']
其中，需要從input_and_output 中選取不固定長度的一段作為輸入，且順序不定，然后去與總體進(jìn)行比較，找出最符合的，開始是對漢字進(jìn)行數(shù)值化編碼，不過后來由于出現(xiàn)漢字越來越多，遂放棄該方法，轉(zhuǎn)向別的方式，查找資料發(fā)現(xiàn)了兩個(gè)python包廣被推薦，從下面來看各有優(yōu)缺點(diǎn)，記錄之~
1、difflib
import difflib #python 自帶庫，不需額外安裝 In [49]: test1 Out[49]: ['你好', '我是誰'] In [50]: test2 Out[50]: ['你好啊', '我誰'] In [51]: test3 Out[51]: [12, 'nihao'] In [52]: test4 Out[52]: ['你好', 'woshi'] In [53]: difflib.SequenceMatcher(a=test1, b=test2).quick_ratio() Out[53]: 0.0 In [54]: difflib.SequenceMatcher(a=test1, b=test4).ratio() Out[54]: 0.5
2、Levenshtein
#pip install python-Levenshtein
import Levenshtein
In [56]: Levenshtein.distance(','.join(test1), ','.join(test2))
Out[56]: 2
In [57]: Levenshtein.distance(','.join(test1), ','.join(test4))
Out[57]: 5
簡單來說，difflib使用時(shí)不一定為字符串，但匹配時(shí)只有單個(gè)元素完全匹配才計(jì)入，
而Levenshtein則需要輸入為字符串，匹配時(shí)是整體匹配（也可能跟把所有元素集中成一個(gè)字符串有關(guān)，具體待繼續(xù)使用再摸索）
以上這篇Python 比較文本相似性的方法(difflib,Levenshtein)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
用python實(shí)現(xiàn)的可以拷貝或剪切一個(gè)文件列表中的所有文件
python 實(shí)現(xiàn)剪切或是拷貝一個(gè)文件列表中的所有文件2009-04-04
用Python的線程來解決生產(chǎn)者消費(fèi)問題的示例
這篇文章主要介紹了用Python的線程來解決生產(chǎn)者消費(fèi)問題的示例,包括對使用線程中容易出現(xiàn)的一些問題給出了相關(guān)解答,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了python持久性管理pickle模塊詳細(xì)介紹,本文講解了什么是持久性、一些經(jīng)過 pickle 的 Python等內(nèi)容,并講給出了18個(gè)使用示例,需要的朋友可以參考下2015-02-02
django的聚合函數(shù)和aggregate、annotate方法使用詳解
這篇文章主要介紹了django的聚合函數(shù)和aggregate、annotate方法使用詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
用python實(shí)現(xiàn)的去除win下文本文件頭部BOM的代碼
windows環(huán)境下新建或編輯文本文件，保存時(shí)會在頭部加上BOM。使用ftp上傳到linux下，在執(zhí)行時(shí)第一行即報(bào)錯(cuò)。以下方法可以去除BOM頭，有需要的朋友可以參考下2013-02-02
Python PyMuPDF實(shí)現(xiàn)PDF與圖片和PPT相互轉(zhuǎn)換
能夠用來對PDF文檔進(jìn)行操作的Python包有好幾個(gè)，如提取內(nèi)容的PdfPlumber、PDFMiner，可以用來對PDF文件進(jìn)行修改操作的PyPDF2等等，如果只是需要簡單地對PDF文件實(shí)現(xiàn)合并、拆分、書簽操作，使用PyPDF2就足以滿足。但如果想對PDF文件進(jìn)行一些底層操作，基本上只有PyMuPDF了2022-12-12
這篇文章主要介紹了使用pymysql寫入中文的問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-03-03
Android+OpenCv4實(shí)現(xiàn)邊緣檢測及輪廓繪制出圖像最大邊緣
最近工作需求，需要用opencv來先做一個(gè)demo，掃描照片進(jìn)行邊緣檢測和最大邊緣，就整理出來介紹一下，感興趣的小伙伴們可以參考一下2021-05-05
CSRF（Cross-site?request?forgery）攻擊是一種常見的網(wǎng)絡(luò)安全漏洞,它可以通過欺騙用戶執(zhí)行惡意請求來攻擊?Web?應(yīng)用程序,本篇文章將介紹python?flask是如何預(yù)防CSRF攻擊,需要的朋友可以參考下2024-04-04
在本篇文章里小編給大家整理的是一篇關(guān)于python寫try語句的方法相關(guān)內(nèi)容，有興趣的朋友們可以跟著學(xué)習(xí)參考下。2020-07-07