Python爬蟲之必備chardet庫
一、chardet庫的安裝與介紹
玩兒過爬蟲的朋友應(yīng)該知道，在爬取不同的網(wǎng)頁時，返回結(jié)果會出現(xiàn)亂碼的情況。比如，在爬取某個中文網(wǎng)頁的時候，有的頁面使用GBK/GB2312，有的使用UTF8，如果你需要去爬一些頁面，知道網(wǎng)頁編碼很重要的。
雖然HTML頁面有charset標(biāo)簽，但是有些時候是不對的，那么chardet就能幫我們大忙了。使用 chardet 可以很方便的實(shí)現(xiàn)字符串/文件的編碼檢測。
如果你安裝過Anaconda，那么可以直接使用chardet庫。如果你只是安裝了Python的話，就需要使用下面幾行代碼，完成chardet庫的安裝。
pip install chardet
接著，使用下面這行代碼，導(dǎo)入chardet庫。
import chardet
二、chardet庫的使用
這個小節(jié)，我們分3部分講解。
2.1 chardet.detect()函數(shù)
detect()函數(shù)接受一個參數(shù)，一個非unicode字符串。它返回一個字典，其中包含自動檢測到的字符編碼和從0到1的可信度級別。
- encoding：表示字符編碼方式。
- confidence：表示可信度。
- language：語言。
光看這個解釋，大多數(shù)朋友可能看不懂，下面我們就用例子來講述這個函數(shù)。
2.2 使用該函數(shù)分別檢測gbk、utf-8和日語
檢測gbk編碼的中文：
str1 = '大家好，我是黃同學(xué)'.encode('gbk')
chardet.detect(str1)
chardet.detect(str1)["encoding"]
結(jié)果如下：
檢測的編碼是GB2312，注意到GBK是GB2312的父集，兩者是同一種編碼，檢測正確的概率是99%，language字段指出的語言是'Chinese'。
檢測utf-8編碼的中文：
str2 = '我有一個夢想'.encode('utf-8')
chardet.detect(str2)
chardet.detect(str2)["encoding"]
結(jié)果如下：
檢測一段日文：
str3 = 'ありがとう'.encode('euc-jp')
chardet.detect(str3)
chardet.detect(str3)
結(jié)果如下：
2.3 如何在“爬蟲”中使用chardet庫呢？
我們以百度網(wǎng)頁為例子，進(jìn)行講述。
這個網(wǎng)頁的源代碼，使用的是什么編碼呢？我們看看源代碼：
從圖中可以看到，是utf-8字符編碼。
如果不使用chardet庫，獲取網(wǎng)頁源代碼的時候，怎么指定字符編碼呢？
import chardet
import requests
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
response = requests.get('https://www.baidu.com',headers=headers)
response.encoding = "utf-8"
response.text
結(jié)果如下：
你會發(fā)現(xiàn)：正確指定編碼后，沒有亂碼。如果你將編碼改為gbk，再看看結(jié)果。此時已經(jīng)亂碼。
如果使用chardet庫，獲取網(wǎng)頁源代碼的時候，可以輕松指定字符編碼！
import chardet
import requests
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
response = requests.get('https://www.baidu.com',headers=headers)
# 注意下面這行代碼，是怎么寫的？
response.encoding = chardet.detect(response.content)['encoding']
response.text
結(jié)果如下：
編碼不用我們自己查找，也不用猜，直接交給chardet庫去猜測，正確率還高。
到此這篇關(guān)于Python爬蟲之必備chardet庫的文章就介紹到這了,更多相關(guān)Python chardet庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了pandas獲取csv指定行，列的操作方法，本文簡單易懂，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了pycharm中cv2的package安裝失敗問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05
這篇文章主要為大家介紹了python包管理工具pip的全面解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-12-12
這篇文章主要介紹了Pycharm 安裝 idea VIM的教程，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下2020-02-02
這篇文章主要為大家詳細(xì)介紹了Python如何使用pyside6編寫一個廣告圖片生成器,可以快速制作包含產(chǎn)品圖片和文字的廣告圖片,需要的可以參考下2025-01-01
基于python3 的百度圖片下載器的實(shí)現(xiàn)代碼
這篇文章主要介紹了基于python3 的百度圖片下載器的實(shí)現(xiàn)代碼,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
這篇文章主要介紹了Python爬取個人微信朋友信息操作,涉及Python使用itchat包實(shí)現(xiàn)微信朋友信息爬取操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-08-08
pytorch多GPU并行運(yùn)算的實(shí)現(xiàn)
這篇文章主要介紹了pytorch多GPU并行運(yùn)算的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
貪婪與非貪婪模式影響的是被量詞修飾的子表達(dá)式的匹配行為，下面這篇文章主要給大家介紹了關(guān)于python中如何使用正則表達(dá)式的非貪婪模式的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起看看吧。2017-10-10
這篇文章主要介紹了Python 寫入Excel格式和顏色的實(shí)現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03