python處理中文編碼和判斷編碼示例
更新時(shí)間：2014年02月26日 11:22:03 作者：
在開發(fā)自用爬蟲過程中，有的網(wǎng)頁是utf-8，有的是gb2312,有的是gbk，如果不加處理，采集到的都是亂碼，解決的方法是將html處理成統(tǒng)一的utf-8編碼
下面所說的都是針對(duì)python2.7
復(fù)制代碼 代碼如下:
#coding:utf-8
#chardet 需要下載安裝
import chardet
#抓取網(wǎng)頁html
line = "http://www.***.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
encoding_dict = chardet.detect(html_1)
#print encoding
web_encoding = encoding_dict['encoding']
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')
#有以上處理，整個(gè)html就不會(huì)是亂碼。
相關(guān)文章
詳解Bagging算法的原理及Python實(shí)現(xiàn)
Bagging算法（Bootstrap aggregating，引導(dǎo)聚集算法），又稱裝袋算法，是機(jī)器學(xué)習(xí)領(lǐng)域的一種團(tuán)體學(xué)習(xí)算法。最初由Leo Breiman于1996年提出。Bagging算法可與其他分類、回歸算法結(jié)合，提高其準(zhǔn)確率、穩(wěn)定性的同時(shí)，通過降低結(jié)果的方差，避免過擬合的發(fā)生2021-06-06
探秘TensorFlow 和 NumPy 的 Broadcasting 機(jī)制
這篇文章主要介紹了探秘TensorFlow 和 NumPy 的 Broadcasting 機(jī)制，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
Python3的unicode編碼轉(zhuǎn)換成中文的問題及解決方案
這篇文章主要介紹了Python3的unicode編碼轉(zhuǎn)換成中文的問題及解決方案,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12
用Python手把手教你實(shí)現(xiàn)2048小游戲
感覺好久沒和大家一起寫小游戲玩了,今天恰巧有空.這次我們來用Python做個(gè)2048小游戲吧.廢話不多說,文中有非常詳細(xì)的代碼示例,需要的朋友可以參考下2021-06-06
Python實(shí)現(xiàn)兩款計(jì)算器功能示例
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)兩款計(jì)算器功能示例，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-12-12
pandas中fillna()函數(shù)填充NaN和None的實(shí)現(xiàn)
本文主要介紹了pandas中fillna()函數(shù)填充NaN和None的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
Python基于紋理背景和聚類算法實(shí)現(xiàn)圖像分割詳解
這篇文章將詳細(xì)講解Python圖和基于紋理背景的圖像分割和聚類算法實(shí)現(xiàn)圖像分割效果，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2023-01-01
相信大家在測試任務(wù)過程中都或多或少遇到自己處理文本文件的情況,這篇文章主要給大家介紹了關(guān)于python文件處理筆記之文本文件的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-08-08
Python 實(shí)用技巧之利用Shell通配符做字符串匹配
這篇文章主要介紹了Python 實(shí)用技巧之利用Shell通配符做字符串匹配的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-08-08
pytest接口測試之fixture傳參數(shù)request的使用
本文主要介紹了pytest接口測試之fixture傳參數(shù)request的使用，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08