快捷導(dǎo)航

python3訪問sina首頁(yè)中文的處理方法

更新時(shí)間：2014年02月24日 14:36:01 作者：

如果用python3的urllib或python2的urllib2訪問網(wǎng)頁(yè)，都不能得到正確的中文字符串，看下面的解決方法

"""
如果只用普通的
import urllib.request
html = urllib.request.urlopen("http://www.sina.com").read()
print(html.decode('gbk'))

出現(xiàn)下面的錯(cuò)誤
builtins.UnicodeDecodeError: 'gbk' codec can't decode byte 0x8b in position 1: illegal multibyte sequence

怎么辦？原來是有的網(wǎng)站將網(wǎng)頁(yè)用gzip壓縮了。
請(qǐng)看下面的代碼

建議大家用python2
import urllib2
from StringIO import StringIO
import gzip

request = urllib2.Request('http://www.sina.com')
request.add_header('Accept-encoding', 'gzip')
response = urllib2.urlopen(request)
if response.info().get('Content-Encoding') == 'gzip':
    buf = StringIO( response.read())
    f = gzip.GzipFile(fileobj=buf)
    data = f.read()
print data.decode("GBK").encode('utf-8')
"""

import io
import urllib.request as r
import gzip
req = r.Request("http://www.sina.com", headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36", "Accept-Encoding": "gzip"})
bs = r.urlopen(req).read()
bi = io.BytesIO(bs)
gf = gzip.GzipFile(fileobj=bi, mode="rb")
print(gf.read().decode("gbk"))

您可能感興趣的文章:

相關(guān)文章

python二進(jìn)制轉(zhuǎn)換模塊的具體用法
在pyton中，通過struct模塊來對(duì)二進(jìn)制進(jìn)行轉(zhuǎn)換，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2022-01-01
Python特殊方法整理匯總
這篇文章主要介紹了Python特殊方法整理匯總，有入門python的朋友可以跟隨小編一起來學(xué)習(xí)下
2021-03-03
Flask sqlalchemy一對(duì)多與多對(duì)一與一對(duì)一及多對(duì)多關(guān)系介紹
這篇文章主要介紹了Flask sqlalchemy一對(duì)多與多對(duì)一與一對(duì)一及多對(duì)多關(guān)系介紹，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2022-09-09
詳解超星腳本出現(xiàn)亂碼問題的解決方法(Python)
超星助手是一款為孩子們提供學(xué)習(xí)的軟件,支持用戶們后臺(tái)運(yùn)行多開等,還可以簽到,查題等多功能,下面這篇文章主要給大家介紹了關(guān)于超星腳本出現(xiàn)亂碼問題的解決方法,需要的朋友可以參考下
2022-05-05
手把手教你利用Python創(chuàng)建一個(gè)游戲窗口
pygame是python用來寫游戲的擴(kuò)展包,用這個(gè)擴(kuò)展包,可以比較容易的構(gòu)造一個(gè)游戲窗口,這篇文章主要給大家介紹了關(guān)于如何利用Python創(chuàng)建一個(gè)游戲窗口的相關(guān)資料,需要的朋友可以參考下
2022-07-07
Python使用pypinyin實(shí)現(xiàn)中文拼音轉(zhuǎn)換
pypinyin是一個(gè)Python庫(kù),用于將中文漢字轉(zhuǎn)換為拼音,這篇文章主要為大家詳細(xì)介紹了pypinyin的基本用法并探討其應(yīng)用場(chǎng)景,需要的可以參考下
2024-02-02
python基礎(chǔ)之貪婪模式與非貪婪模式
這篇文章主要介紹了python貪婪模式與非貪婪模式 ,實(shí)例分析了Python中返回一個(gè)返回值與多個(gè)返回值的方法,需要的朋友可以參考下
2021-10-10
Python爬取城市租房信息實(shí)戰(zhàn)分享
這篇文章主要介紹了Python爬取城市房租房信息實(shí)戰(zhàn)分享，先單線程爬蟲，測(cè)試可以成功爬取之后再優(yōu)化為多線程，最后存入數(shù)據(jù)庫(kù)，需要的小伙伴可以參考一下的相關(guān)資料
2022-04-04
用pip給python安裝matplotlib庫(kù)的詳細(xì)教程
這篇文章主要介紹了用pip給python安裝matplotlib庫(kù)的詳細(xì)教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-02-02
python re的findall和finditer的區(qū)別詳解
這篇文章主要介紹了python re的findall和finditer的區(qū)別詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11