背景

中秋的時(shí)候，一個(gè)朋友給我發(fā)了一封郵件，說他在爬鏈家的時(shí)候，發(fā)現(xiàn)網(wǎng)頁返回的代碼都是亂碼，讓我?guī)退麉⒅\參謀(中秋加班，真是敬業(yè)= =！)，其實(shí)這個(gè)問題我很早就遇到過，之前在爬小說的時(shí)候稍微看了一下，不過沒當(dāng)回事，其實(shí)這個(gè)問題就是對(duì)編碼的理解不到位導(dǎo)致的。

問題

很普通的一個(gè)爬蟲代碼，代碼是這樣的：

# ecoding=utf-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'
res = requests.get(url)
print res.text

目的其實(shí)很簡單，就是爬一下鏈家的內(nèi)容，但是這樣執(zhí)行之后，返回的結(jié)果，所有涉及到中文的內(nèi)容，全部會(huì)變成亂碼，比如這樣

<script type="text/template" id="newAddHouseTpl">
 <div class="newAddHouse">
  自从您上次浏览（<%=time%>ï¼‰ä¹‹åŽï¼Œè¯¥æœç´¢æ¡ä»¶ä¸‹æ–°å¢žåŠ äº†<%=count%>套房源
  <a href="<%=url%>" class="LOGNEWERSHOUFANGSHOW" <%=logText%>><%=linkText%></a>
  <span class="newHouseRightClose">x</span>
 </div>
</script>

這樣的數(shù)據(jù)拿來可以說毫無作用。

問題分析

這里的問題很明顯了，就是文字的編碼不正確，導(dǎo)致了亂碼。

查看網(wǎng)頁的編碼

從爬取的目標(biāo)網(wǎng)頁的頭來看，網(wǎng)頁是用utf-8來編碼的。

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

所以，最終的編碼，我們肯定也要用utf-8來處理，也就是說，最終的文本處理，要用utf-8來解碼，也就是：decode('utf-8')

文本的編碼解碼

Python的編碼解碼的過程是這樣的，源文件 ===》 encode(編碼方式) ===》decode(解碼方式)，在很大的程度上，不推薦使用

import sys
reload(sys)
sys.setdefaultencoding('utf8')

這種方式來硬處理文字編碼。不過在某些時(shí)候不影響的情況下，偷偷懶也不是什么大問題，不過比較建議的就是獲取源文件之后，使用encode和decode的方式來處理文本。

回到問題

現(xiàn)在問題最大的是源文件的編碼方式，我們正常使用requests的時(shí)候，它會(huì)自動(dòng)猜源文件的編碼方式，然后轉(zhuǎn)碼成Unicode的編碼，但是，畢竟是程序，是有可能猜錯(cuò)的，所以如果猜錯(cuò)了，我們就需要手工來指定編碼方式。官方文檔的描述如下：

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers. The text encoding guessed by Requests is used when you access r.text. You can find out what encoding Requests is using, and change it, using the r.encoding property.

所以我們需要查看requests返回的編碼方式到底是什么？

# ecoding=utf-8
import re
import requests
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
print res.encoding

打印的結(jié)果如下：

ISO-8859-1

也就是說，源文件使用的是ISO-8859-1來編碼。百度一下ISO-8859-1，結(jié)果如下：

ISO8859-1，通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字符。

問題解決

發(fā)現(xiàn)了這個(gè)東東，問題就很好解決了，只要指定一下編碼，就能正確的打出中文了。代碼如下：

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
res.encoding = ('utf8')

print res.text

打印的結(jié)果就很明顯，中文都正確的顯示出來了。

另一種方式是在源文件上做解碼和編碼，代碼如下：

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
# res.encoding = ('utf8')

print res.text.encode('ISO-8859-1').decode('utf-8')

另：ISO-8859-1也叫做latin1，使用latin1做解碼結(jié)果也是正常的。

關(guān)于字符的編碼，很多東西可以說，想了解的朋友可以參考以下大神的資料。

•《The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)》

以上這篇淺談Python爬取網(wǎng)頁的編碼處理就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論