編寫簡單的Python程序來判斷文本的語種
更新時間：2015年04月07日 17:00:13 投稿：goldensun
這篇文章主要介紹了編寫簡單的Python程序來判斷語種,代碼非常簡單,主要用到了langid工具包,需要的朋友可以參考下
1.問題的描述
用Python進行文本處理時，有時候處理的文本中包含中文、英文、日文等多個語系的文本，有時候不能同時進行處理，這個時候就需要判別當前文本是屬于哪個語系的。Python中有個langid工具包提供了此功能，langid目前支持97種語言的檢測，非常好用。
2.程序的代碼
以下Python是調用langid工具包來對文本進行語言檢測與判別的程序代碼：
import langid #引入langid模塊
def translate(inputFile, outputFile):
fin = open(inputFile, 'r') #以讀的方式打開輸入文件
fout = open(outputFile, 'w') #以寫的方式打開輸出文件
for eachLine in fin: #依次讀入每一行
line = eachLine.strip().decode('utf-8', 'ignore') #去除每行的首位空格等，并統一轉化成Unicode
lineTuple = langid.classify(line) #調用langid來對該行進行語言檢測
if lineTuple[0] == "zh": #如果該行語言大部分為中文，則不進行任何處理
continue
outstr = line #如果該行語言為非中文，則準備輸出
fout.write(outstr.strip().encode('utf-8') + '\n') #輸出非中文的行，從Unicode轉化成utf-8輸出
fin.close()
fout.close()
if __name__ == '__main__': #相當于main函數
translate("myInputFile.txt", "myOutputFile.txt")
以上代碼是用來處理一個文本，將不屬于中文的行依次輸出到一個新的文件。
3.注意
第9、10行代碼，langid.classify(line)的輸出結果是一個二元組，二元組的第一項表示該文本所屬的語系，如：zh表示中文、en表示英語、等等；二元組的第二項表示該文本中屬于第一項中語系的所占比例。
希望對大家有所幫助。
相關文章
這篇文章主要給大家介紹了Python數據分析之真實IP請求Pandas，文中通過示例嗲嗎給大家介紹的很詳細，相信對大家的學習或者理解具有一定的參考借鑒價值，有需要的朋友們可以參考借鑒，下面來一起學習學習吧。2016-11-11
Python利用Charles 實現全部自動答題思路流程分析
這篇文章主要介紹了Python利用Charles 實現全部自動答題思路流程分析,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-08-08
我的讀者知道我是一個喜歡痛罵Python3 unicode的人。這次也不例外。我將會告訴你用unicode有多痛苦和為什么我不能閉嘴。我花了兩周時間研究Python3，我需要發(fā)泄我的失望。在這些責罵中，仍然有有用的信息，因為它教我們如何來處理Python3。如果沒有被我煩到，就讀一讀吧2014-11-11
這篇文章主要介紹了python判斷給定的字符串是否是有效日期的方法,涉及Python針對字符串與日期操作的相關技巧,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了python高階函數map（）和reduce（）實例解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-03-03
math庫是python的內置數學類函數庫，支持整數和浮點數運算，math模塊下的函數，返回值均為浮點數，除非有說明，math模塊提供類似C語言標準定義的數學函數2022-08-08
本文主要介紹了Python中ini配置文件讀寫的實現，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-02-02
這篇文章主要給大家介紹了關于Python利器openpyxl之操作excel表格的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-04-04
每次在讀或寫文件時,獲取腳本文件的絕對路徑和相對路徑時很容易搞混,下面這篇文章主要給大家介紹了關于python文件讀取和導包的絕對路徑、相對路徑的相關資料,需要的朋友可以參考下2022-04-04
這篇文章主要介紹了介紹一款python類型檢查工具pyright(推薦)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07