快捷導(dǎo)航

Python BeautifulSoup中文亂碼問題的2種解決方法

更新時(shí)間：2014年04月22日 10:16:48 作者：

這篇文章主要介紹了Python BeautifulSoup中文亂碼問題的2種解決方法,需要的朋友可以參考下

解決方法一：

使用python的BeautifulSoup來抓取網(wǎng)頁然后輸出網(wǎng)頁標(biāo)題,但是輸出的總是亂碼,找了好久找到解決辦法,下面分享給大家
首先是代碼

from bs4 import BeautifulSoup
import urllib2

url = 'http://www.fzitv.net/'
page = urllib2.urlopen(url)

soup = BeautifulSoup(page,from_encoding="utf8")
print soup.original_encoding
print (soup.title).encode('gb18030')

file = open("title.txt","w")
file.write(str(soup.title))
file.close()

 

for link in soup.find_all('a'):
    print link['href']

在剛開始測(cè)試的時(shí)候發(fā)現(xiàn),雖然輸出是亂碼的,但是寫在文件里面卻是正常的.然后在網(wǎng)上找了找解決辦法才發(fā)現(xiàn)
print一個(gè)對(duì)象的邏輯：內(nèi)部是調(diào)用對(duì)象的__str__得到對(duì)應(yīng)的字符串的，此處對(duì)應(yīng)的是soup的__str__ 而針對(duì)于soup本身，其實(shí)已經(jīng)是Unicode編碼，所以可以通過指定__str__輸出時(shí)的編碼為GBK，以使得此處正確顯示非亂碼的中文
而對(duì)于cmd：（中文的系統(tǒng)中）編碼為GBK,所以只要重新編碼為gb18030就可以正常輸出了
就是下面這行代碼

復(fù)制代碼代碼如下:

print (soup.title).encode('gb18030')

解決方法二：

BeautifulSoup在解析utf-8編碼的網(wǎng)頁時(shí)，如果不指定fromEncoding或者將fromEncoding指定為utf-8會(huì)出現(xiàn)中文亂碼的現(xiàn)象。

解決此問題的方法是將Beautifulsoup構(gòu)造函數(shù)中的fromEncoding參數(shù)的值指定為：gb18030

復(fù)制代碼代碼如下:

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://www.fzitv.net/');
soup = BeautifulSoup(page,fromEncoding="gb18030")
print soup.originalEncoding
print soup.prettify()

您可能感興趣的文章:

相關(guān)文章

Python獲取統(tǒng)計(jì)自己的qq群成員信息的方法
這篇文章主要介紹了Python獲取統(tǒng)計(jì)自己的qq群成員信息的方法,本文分步驟給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2019-11-11
Python中函數(shù)的創(chuàng)建及調(diào)用
這篇文章主要介紹了Python中函數(shù)的創(chuàng)建及調(diào)用，創(chuàng)建函數(shù)也稱為定義一個(gè)函數(shù)，可以理解為創(chuàng)建一個(gè)具有某種用途的工具。調(diào)用函數(shù)也就是執(zhí)行函數(shù)。如果把創(chuàng)建的函數(shù)理解為創(chuàng)建一個(gè)具體有某種用途的工具，那么調(diào)用函數(shù)就相當(dāng)于使用該工具
2022-06-06
python通過yield實(shí)現(xiàn)數(shù)組全排列的方法
這篇文章主要介紹了python通過yield實(shí)現(xiàn)數(shù)組全排列的方法,實(shí)例分析了全排列的概念及yield實(shí)現(xiàn)的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2015-03-03
Python搭建Gitee圖床的示例代碼
在寫博客的過程中經(jīng)常要插入圖片，本文將使用Python實(shí)現(xiàn)對(duì)上傳的圖片自動(dòng)壓縮，自動(dòng)編碼，以及自動(dòng)推送到遠(yuǎn)程倉庫，感興趣的可以了解一下
2021-10-10
PyTorch搭建多項(xiàng)式回歸模型（三）
這篇文章主要為大家詳細(xì)介紹了PyTorch搭建多項(xiàng)式回歸模型，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-05-05
Python面向?qū)ο笾惡蛯?duì)象實(shí)例詳解
這篇文章主要介紹了Python面向?qū)ο笾惡蛯?duì)象,結(jié)合實(shí)例形式詳細(xì)分析了Python面向?qū)ο笙嚓P(guān)的繼承、多態(tài)、類及對(duì)象等概念、原理、操作技巧與注意事項(xiàng),需要的朋友可以參考下
2018-12-12
查看django版本的方法分享
今天小編就為大家分享一篇查看django版本的方法分享，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
Python實(shí)現(xiàn)刪除排序數(shù)組中重復(fù)項(xiàng)的兩種方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)刪除排序數(shù)組中重復(fù)項(xiàng)的兩種方法,涉及Python數(shù)組元素的遍歷、判斷、刪除等相關(guān)操作技巧,需要的朋友可以參考下
2019-01-01
Python通用循環(huán)的構(gòu)造方法實(shí)例分析
這篇文章主要介紹了Python通用循環(huán)的構(gòu)造方法,結(jié)合實(shí)例形式分析了Python常見的交互循環(huán)、哨兵循環(huán)、文件循環(huán)、死循環(huán)等實(shí)現(xiàn)與處理技巧,需要的朋友可以參考下
2018-12-12
淺談Python幾種常見的歸一化方法
這篇文章主要介紹了幾種常見的歸一化方法,數(shù)據(jù)歸一化是深度學(xué)習(xí)數(shù)據(jù)預(yù)處理中非常關(guān)鍵的步驟，可以起到統(tǒng)一量綱，防止小數(shù)據(jù)被吞噬的作用,需要的朋友可以參考下
2023-04-04