Python中動態(tài)檢測編碼chardet的使用教程
前言
在互聯(lián)網(wǎng)的世界里，每個頁面都使用了編碼，但是形形色色的編碼讓我們的代碼何以得知其棉麻格式呢？charset將很好的解決這個問題。
1. chardet
chardet是Python社區(qū)提供了一個類庫包，方便我們在代碼中動態(tài)檢測當(dāng)前頁面或者文件中的編碼格式信息。接口非常的簡單和易用。
Project主頁： https://github.com/chardet/chardet
本地下載地址：http://xiazai.jb51.net/201707/yuanma/chardet(jb51.net).rar
文檔主頁： http://chardet.readthedocs.io/en/latest/usage.html
2. 使用示例
Notice： 筆者使用的python 3.5 +
Case 1： 檢測特定頁面的編碼格式
import chardet
import urllib.request
TestData = urllib.request.urlopen('http://www.baidu.com/').read()
print(chardet.detect(TestData))
輸出結(jié)果：
{'confidence': 0.99, 'encoding': 'utf-8'}
結(jié)果分析， 其準(zhǔn)確率99%的概率，編碼格式為utf-8
使用說明：detect（）為其關(guān)鍵方法
Case 2: 增量檢測編碼格式
import urllib.request
from chardet.universaldetector import UniversalDetector
usock = urllib.request.urlopen('http://yahoo.co.jp/')
detector = UniversalDetector()
for line in usock.readlines():
detector.feed(line)
if detector.done: break
detector.close()
usock.close()
print(detector.result)
輸出結(jié)果：
{'confidence': 0.99, 'encoding': 'utf-8'}
說明： 為了提高預(yù)測的準(zhǔn)確性，基于dector.feed()來實(shí)現(xiàn)持續(xù)的信息輸入，在信息足夠充足之后結(jié)束信息輸入，給出相應(yīng)的預(yù)測和判斷。
如果需要復(fù)用detector方法，需要進(jìn)行detector.reset()進(jìn)行重置，從而可以復(fù)用。
Case 3: 在安裝chardet之后，可以基于命令行來檢測文件編碼
% chardetect somefile someotherfile somefile: windows-1252 with confidence 0.5 someotherfile: ascii with confidence 1.0
在系統(tǒng)層面，可以直接基于命令行來進(jìn)行文件編碼檢測，非常簡單易用。
3. 總結(jié)
chardet是非常易用和功能強(qiáng)大的Python包，相信大家在web世界中遨游之時，肯定會用上這個chardet的。 如有問題，歡迎大家反饋給我。
好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
相關(guān)文章
這篇文章主要介紹了python join方法使用詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
在網(wǎng)絡(luò)爬蟲開發(fā)中，使用代理IP是非常常見的技巧，Python作為一門強(qiáng)大的編程語言，也提供了很多方法來使用代理IP，下面，我將就如何在Python中使用代理IP進(jìn)行詳細(xì)的闡述，并舉例說明,需要的朋友可以參考下2023-07-07
tensorflow 用矩陣運(yùn)算替換for循環(huán) 用tf.tile而不寫for的方法
今天小編就為大家分享一篇tensorflow 用矩陣運(yùn)算替換for循環(huán) 用tf.tile而不寫for的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
總結(jié)Python函數(shù)參數(shù)的六種類型
這篇文章主要總結(jié)了Python函數(shù)參數(shù)的六種類型，傳遞參數(shù)實(shí)現(xiàn)不同場景的靈活使用，下面總結(jié)的六種函數(shù)參數(shù)類型，需要的小伙伴可以參考一下2022-03-03
python爬蟲入門教程--快速理解HTTP協(xié)議（一）
http協(xié)議是互聯(lián)網(wǎng)里面最重要，最基礎(chǔ)的協(xié)議之一，我們的爬蟲需要經(jīng)常和http協(xié)議打交道。下面這篇文章主要給大家介紹了關(guān)于python爬蟲入門之快速理解HTTP協(xié)議的相關(guān)資料，文中介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來一起看看吧。2017-05-05
這篇文章主要介紹了Python自定義線程類,結(jié)合簡單實(shí)例形式分析Python線程的定義與調(diào)用相關(guān)操作技巧,需要的朋友可以參考下2018-03-03
文件的作用 就是把一些存儲存放起來,可以讓程序下一次執(zhí)行的時候直接使用,而不必重新制作一份,省時省力，本文將帶你了解通過python如何進(jìn)行文件的讀寫操作2021-10-10
這篇文章主要給大家介紹了關(guān)于OpenCV圖像的幾何變換處理的相關(guān)資料,圖像的幾何變換是指將一幅圖像映射到另一幅圖像內(nèi),有縮放、翻轉(zhuǎn)、仿射變換、透視、重映射等操作,需要的朋友可以參考下2024-03-03
turtle是Python編程語言中的一個模塊,用于繪制圖形和圖形動畫,本文主要為大家詳細(xì)介紹了Python如何使用turtle實(shí)現(xiàn)張萬森下雪了的效果,感興趣的可以了解下2023-12-12
在VSCode中配置Python開發(fā)環(huán)境的詳細(xì)教程
Visual Studio Code（簡稱VSCode）以其強(qiáng)大的功能和靈活的擴(kuò)展性,成為了許多開發(fā)者的首選,本文將詳細(xì)介紹如何在VSCode中配置Python開發(fā)環(huán)境,需要的朋友可以參考下2025-04-04