python爬蟲(chóng)之urllib,偽裝,超時(shí)設(shè)置,異常處理的方法
Urllib
1. Urllib.request.urlopen().read().decode()
返回一個(gè)二進(jìn)制的對(duì)象，對(duì)這個(gè)對(duì)象進(jìn)行read()操作，可以得到一個(gè)包含網(wǎng)頁(yè)的二進(jìn)制字符串，然后用decode()解碼成html源碼
2. urlretrieve()
將一個(gè)網(wǎng)頁(yè)爬取到本地
3. urlclearup()
清除 urlretrieve()所產(chǎn)生的緩存
4. info()
返回一個(gè)httpMessage對(duì)象，表示遠(yuǎn)程服務(wù)器的頭信息
5. getcode()
獲取當(dāng)前網(wǎng)頁(yè)的狀態(tài)碼 200代表成功，404網(wǎng)頁(yè)未找到
6. geturl()
獲取當(dāng)前爬取頁(yè)面的網(wǎng)址
示例：
from urllib import request
# urlretrieve() -- 將一個(gè)網(wǎng)頁(yè)爬取到本地
request.urlretrieve("http://www.baidu.com",filename="demo.html")
# urlclearup() -- 清除urlretrieve()所產(chǎn)生的緩存
request.urlcleanup()
# info() -- 返回一個(gè)httpMessage對(duì)象,表示遠(yuǎn)程服務(wù)器的頭信息
data = request.urlopen("http://www.taobao.com")
print(data.info())
# getcode() -- 獲取當(dāng)前網(wǎng)頁(yè)的狀態(tài)碼data.geturl()
print(data.getcode())
# 獲取當(dāng)前爬取頁(yè)面的網(wǎng)址
print(data.geturl())
運(yùn)行結(jié)果：
Server: Tengine Date: Wed, 09 May 2018 09:55:16 GMT Content-Type: text/html; charset=utf-8 Transfer-Encoding: chunked Connection: close Vary: Accept-Encoding X-Snapshot-Age: 1 Content-MD5: tkjcPUrHBAIt2N/YXcuwZg== Vary: Ali-Detector-Type, X-CIP-PT Cache-Control: max-age=0, s-maxage=89 ETag: W/"29b8-16340528168" Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0] Age: 70 X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1 X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT X-Swift-CacheTime: 36 Timing-Allow-Origin: * EagleId: 3c1cf2e515258597167937091e Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT; Strict-Transport-Security: max-age=31536000 200 https://www.taobao.com/
超時(shí)設(shè)置(timeout)
由于在實(shí)際的爬取過(guò)程中，部分網(wǎng)站可能訪問(wèn)過(guò)慢，影響性能，這時(shí)我們可設(shè)置超時(shí)訪問(wèn).
示例： 如果在指定時(shí)間內(nèi)正常訪問(wèn)，即輸出獲取數(shù)據(jù)的長(zhǎng)度，如果超出指定時(shí)間，則拋出異常.
for i in range(0,10):
try:
data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()
print(len(data))
except Exception as e:
print("出現(xiàn)異常:"+str(e))
運(yùn)行結(jié)果：
114980 114888 114809 114839 114824 114611 出現(xiàn)異常:<urlopen error timed out> 出現(xiàn)異常:<urlopen error timed out> 出現(xiàn)異常:<urlopen error timed out> 115003
偽裝
在爬取過(guò)程中，可能部分網(wǎng)站限制瀏覽器訪問(wèn)所以為了順利達(dá)到我們的目的，我們對(duì)自己進(jìn)行偽裝.
這里我們介紹一下瀏覽器的偽裝技術(shù).
普通爬?。?/p>
from urllib import request
file = request.urlopen("http://www.baidu.com").read().decode()
通過(guò)瀏覽器偽裝爬取數(shù)據(jù)：
方式一：
from urllib import request
url = "http://www.baidu.com"
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #這里模擬瀏覽器
opener = request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)
方式二：
from urllib import request
url = "http://www.baidu.com"
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #這里模擬瀏覽器
opener = request.build_opener()
opener.addheaders = [headers]
request.install_opener(opener)
data = request.urlopen(url).read().decode("utf-8")
print(data)
方式三：
from urllib import request
url = "http://www.baidu.com"
headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #這里模擬瀏覽器,通過(guò)字典
req = request.Request(url=rul,headers=headers)
data = request.urlopen(req).read().decode("utf-8")
print(data)
異常處理
爬蟲(chóng)在運(yùn)行過(guò)程中,可能會(huì)出現(xiàn)各種各樣的問(wèn)題，如果沒(méi)有異常處理的話,爬出異常會(huì)直接崩潰停止運(yùn)行，下次再運(yùn)行的時(shí)候,爬蟲(chóng)又要重頭開(kāi)始，所以我們要開(kāi)發(fā)的是一個(gè)具有頑強(qiáng)生命力的爬蟲(chóng)，必須要進(jìn)行異常的處理.
常見(jiàn)異常示例：
301 重定向 403 禁止訪問(wèn) 404 沒(méi)有找到頁(yè)面 500 服務(wù)器內(nèi)部出現(xiàn)問(wèn)題 200 成功
python中有兩個(gè)異常處理的類(lèi)：URLError與HttpError
HttpError 是 URLError子類(lèi) HttpError 有異常狀態(tài)碼和異常原因 URLError 只有異常原因,沒(méi)有異常狀態(tài)碼 所以,在異常處理的時(shí)候,不能使用URLError來(lái)代替 如果想要代替,必須要進(jìn)行判斷,判斷是否有狀態(tài)碼屬性 會(huì)產(chǎn)生URLError的情況: 1.連接不上服務(wù)器 2.遠(yuǎn)程的url不存在 3.本地網(wǎng)絡(luò) 4.HttpError(是子類(lèi),也會(huì)出發(fā)會(huì)產(chǎn)生URLError
格式如下：
from urllib import error,request
try: # 可能會(huì)出現(xiàn)異常的代碼
data = request.urlopen("http://www.aliyu.com").read()
print(data)
except error.URLError as e: # 進(jìn)行異常的處理
if hasattr(e,"code"): # 判斷是否有狀態(tài)碼
print(e.code) # 狀態(tài)碼
if hasattr(e,"reason"): # 判斷是否有異常原因
print(e.reason) # 異常原因
以上這篇python爬蟲(chóng)之urllib,偽裝,超時(shí)設(shè)置,異常處理的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
JSON是一種輕量級(jí)的數(shù)據(jù)交換格式，它是JavaScript的子集，易于人閱讀和編寫(xiě)，這篇文章主要介紹了Python中JSON的基本使用,需要的朋友可以參考下2022-11-11
python實(shí)現(xiàn)提取str字符串/json中多級(jí)目錄下的某個(gè)值
今天小編就為大家分享一篇python實(shí)現(xiàn)提取str字符串/json中多級(jí)目錄下的某個(gè)值，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
ipdb是用來(lái)python中用以交互式debug的模塊，可以直接利用pip安裝，這篇文章主要介紹了python調(diào)試模塊ipdb詳解,需要的朋友可以參考下2023-03-03
Pandas時(shí)間序列基礎(chǔ)詳解(轉(zhuǎn)換,索引,切片)
今天小編就為大家分享一篇Pandas時(shí)間序列基礎(chǔ)詳解(轉(zhuǎn)換,索引,切片)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
TensorFlow2.0使用keras訓(xùn)練模型的實(shí)現(xiàn)
這篇文章主要介紹了TensorFlow2.0使用keras訓(xùn)練模型的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
解決Python中pandas讀取*.csv文件出現(xiàn)編碼問(wèn)題
很多朋友在使用Python中pandas讀取csv文件時(shí)，出現(xiàn)編碼格式問(wèn)題，接下來(lái)通過(guò)本文給大家分享解決Python中pandas讀取*.csv文件出現(xiàn)編碼問(wèn)題,需要的朋友可以參考下2019-07-07
Python使用urllib模塊對(duì)URL網(wǎng)址中的中文編碼與解碼實(shí)例詳解
這篇文章主要介紹了Python使用urllib模塊對(duì)URL網(wǎng)址中的中文編碼與解碼(Python使用urllib模塊對(duì)URL編碼與解碼)實(shí)例詳解,需要的朋友可以參考下2020-02-02
django channels使用和配置及實(shí)現(xiàn)群聊
本文主要介紹了django channels使用和配置及實(shí)現(xiàn)群聊，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05
這篇文章主要介紹了python如何查找圖片按鈕的坐標(biāo)位置，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
淺析對(duì)torch.unsqueeze()函數(shù)理解
torch.unsqueeze()函數(shù)起到升維的作用,dim等于幾表示在第幾維度加一,這篇文章主要介紹了對(duì)torch.unsqueeze()函數(shù)理解深度解析,感興趣的朋友跟隨小編一起看看吧2024-06-06