判斷網(wǎng)頁編碼的方法python版
更新時間：2016年08月12日 14:34:53 作者：mickelfeng
這篇文章主要為大家詳細介紹了python代碼判斷網(wǎng)頁編碼的方法，感興趣的小伙伴們可以參考一下
在web開發(fā)的時候我們經(jīng)常會遇到網(wǎng)頁抓取和分析，各種語言都可以完成這個功能。我喜歡用python實現(xiàn)，因為python提供了很多成熟的模塊，可以很方便的實現(xiàn)網(wǎng)頁抓取。
但是在抓取過程中會遇到編碼的問題，那今天我們來看一下如何判斷網(wǎng)頁的編碼：
網(wǎng)上很多網(wǎng)頁的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。
我們在獲取網(wǎng)頁的的數(shù)據(jù)后，先要對網(wǎng)頁的編碼進行判斷，才能把抓取的內(nèi)容的編碼統(tǒng)一轉(zhuǎn)換為我們能夠處理的編碼，避免亂碼問題的出現(xiàn)。
下面介紹兩種判斷網(wǎng)頁編碼的方法：
總結(jié)：第二個方法很準確，在網(wǎng)頁編碼分析的時候用python模塊分析內(nèi)容是最準確的，而使用分析meta頭信息的方法是不太準確的。
方法一：使用urllib模塊的getparam方法
import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu
方法二：使用chardet模塊
#如果你的python沒有安裝chardet模塊，你需要首先安裝一下chardet判斷編碼的模塊哦
#author:pythontab.com
import chardet
import urllib
#先獲取網(wǎng)頁內(nèi)容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet進行內(nèi)容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
這篇文章主要介紹了Python參數(shù)傳遞對象的引用原理解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-05-05
解決python 未發(fā)現(xiàn)數(shù)據(jù)源名稱并且未指定默認驅(qū)動程序的問題
今天小編就為大家分享一篇解決python 未發(fā)現(xiàn)數(shù)據(jù)源名稱并且未指定默認驅(qū)動程序的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
使用pycharm+conda配置虛擬環(huán)境的詳細步驟
這篇文章主要介紹了使用pycharm創(chuàng)建新的項目環(huán)境并使用conda進行配置和使用pycharm引用已有的conda虛擬環(huán)境,文中通過圖文結(jié)合的方式介紹的非常詳細,需要的朋友可以參考下2024-05-05
在本篇文章中小編給大家?guī)淼氖顷P(guān)于python中sort和sorted排序的實例方法以及相關(guān)知識點，有需要的朋友們可以學習下。2019-08-08
django認證系統(tǒng) Authentication使用詳解
這篇文章主要介紹了django認證系統(tǒng) Authentication使用詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
頁面大小確定文檔中每個頁面的尺寸和布局,有時我們會需要自定義頁面大小以滿足特定要求,下面我們就來看看如何使用Python實現(xiàn)這一效果吧2024-03-03
Python使用ImageGrab截圖主要依賴于Pillow庫（PIL庫的一個分支）,該庫提供了ImageGrab模塊來實現(xiàn)屏幕截圖功能,以下是一個詳細的截圖教程,需要的朋友可以參考下2025-01-01
python2與python3爬蟲中g(shù)et與post對比解析
這篇文章主要介紹了python2與python3爬蟲中g(shù)et與post對比解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
今天小編就為大家分享一篇python 中值濾波,椒鹽去噪,圖片增強實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要介紹了python查看FTP是否能連接成功的方法,實例分析了Python連接FTP的相關(guān)技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-07-07