解決Python網(wǎng)頁爬蟲之中文亂碼問題
更新時間：2018年05月11日 08:55:50 作者：ToringZZZ
今天小編就為大家分享一篇解決Python網(wǎng)頁爬蟲之中文亂碼問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
Python是個好工具，但是也有其固有的一些缺點。最近在學(xué)習網(wǎng)頁爬蟲時就遇到了這樣一種問題，中文網(wǎng)站爬取下來的內(nèi)容往往中文顯示亂碼?？催^我之前博客的同學(xué)可能知道，之前爬取的一個學(xué)校網(wǎng)頁就出現(xiàn)了這個問題，但是當時并沒有解決，這著實成了我一個心病。這不，剛剛一解決就將這個方法公布與眾，大家一同分享。
首先，我說一下Python中文亂碼的原因，Python中文亂碼是由于Python在解析網(wǎng)頁時默認用Unicode去解析，而大多數(shù)網(wǎng)站是utf-8格式的，并且解析出來之后，python竟然再以Unicode字符格式輸出，會與系統(tǒng)編碼格式不同，導(dǎo)致中文輸出亂碼，知道原因后我們就好解決了。下面上代碼，實驗對象仍是被人上了無數(shù)遍的百度主頁~
# -*- coding: utf-8 -*-
import urllib2
import re
import requests
import sys
import urllib
#設(shè)置編碼
reload(sys)
sys.setdefaultencoding('utf-8')
#獲得系統(tǒng)編碼格式
type = sys.getfilesystemencoding()
r = urllib.urlopen("http://www.baidu.com")
#將網(wǎng)頁以utf-8格式解析然后轉(zhuǎn)換為系統(tǒng)默認格式
a = r.read().decode('utf-8').encode(type)
print a
最后輸出效果，中文完美輸出
以上這篇解決Python網(wǎng)頁爬蟲之中文亂碼問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
beam search及pytorch的實現(xiàn)方式
這篇文章主要介紹了beam search及pytorch的實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-05-05
pyc 是 Python 經(jīng)過 compile 后的文件類型，一段 Python 代碼執(zhí)行前會先將 .py 文件編譯成 .pyc 文件它是一種字節(jié)碼 byte code，然后由 Python 虛擬機執(zhí)行，這篇文章主要介紹了Python使用pyc解決明文密鑰問題,需要的朋友可以參考下2023-07-07
本文主要介紹了Tornado Application的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值，需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧2023-05-05
Python循環(huán)取數(shù)組的值的方法實現(xiàn)
本文主要介紹了兩種Python中遍歷數(shù)組的方法,for循環(huán)和索引,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧2024-12-12
這篇文章主要介紹了Python基礎(chǔ)之元類詳解,文中有非常詳細的代碼示例,對正在學(xué)習python基礎(chǔ)的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04
下面小編就為大家?guī)硪黄狿ython進階_關(guān)于命名空間與作用域(詳解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
字典是python中唯一內(nèi)建的映射類型。字典中的值并沒有特殊的順序，但是都存儲在一個特定的鍵（key）里。2013-11-11
這篇文章主要介紹了python 鏈接sqlserver 寫接口實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
python如何實現(xiàn)全角半角的相互轉(zhuǎn)換
這篇文章主要介紹了python如何實現(xiàn)全角半角的相互轉(zhuǎn)換方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11
這篇文章主要介紹了Python函數(shù)的迭代器與生成器的相關(guān)知識，本文通過實例代碼給大家介紹的非常詳細，對大家的學(xué)習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06