快捷導(dǎo)航

Python爬蟲(chóng)之網(wǎng)絡(luò)請(qǐng)求

更新時(shí)間：2022年04月11日 20:55:05 作者：長(zhǎng)得丑就要多讀書(shū)

這篇文章主要介紹了Python爬蟲(chóng)之網(wǎng)絡(luò)請(qǐng)求，文章基于Python展開(kāi)對(duì)網(wǎng)絡(luò)請(qǐng)求的相關(guān)介紹，需要的小伙伴可以參考一下

1.IP代理

某些網(wǎng)站會(huì)檢測(cè)一段時(shí)間內(nèi)某IP的訪問(wèn)次數(shù)，若訪問(wèn)次數(shù)過(guò)多會(huì)禁止訪問(wèn)，這時(shí)需要設(shè)置一些代理服務(wù)器，每隔一段時(shí)間換一個(gè)代理。IP代理的分類：

①透明代理：目標(biāo)網(wǎng)站可以得知使用了代理以及源IP地址，顯然這不符合要求；
②匿名代理：目標(biāo)網(wǎng)站知道使用了代理，但不知道源IP地址；
③高匿代理：最保險(xiǎn)的方式，目標(biāo)網(wǎng)站既不知道使用了代理，也不知道源IP地址。

2.Cookie

解決http的無(wú)狀態(tài)性，第一次向服務(wù)器發(fā)送請(qǐng)求時(shí)，服務(wù)器生成Cookie作為請(qǐng)求頭并儲(chǔ)存到瀏覽器中；瀏覽器再次發(fā)送請(qǐng)求時(shí)將攜帶Cookie信息。

import urllib.request
from http import cookiejar
filename = 'cookie.txt'
#獲取Cookie
def get_cookie():
? ? #實(shí)例化一個(gè)MozillaCookieJar用于存儲(chǔ)cookie
? ? cookie = cookiejar.MozillaCookieJar(filename)
? ? #創(chuàng)建handler對(duì)象
? ? handler = urllib.request.HTTPCookieProcessor(cookie)
? ? #創(chuàng)建opener對(duì)象
? ? opener = urllib.request.build_opener(handler)
? ? #請(qǐng)求網(wǎng)址
? ? url = 'https://tieba.baidu.com/index.html?traceid=#'
? ? resp = opener.open(url) #發(fā)送請(qǐng)求
? ? #存儲(chǔ)cookie文件
? ? cookie.save()
?
#讀取cookie
def use_cookie():
? ? #實(shí)例化MozillaCookieJar
? ? cookie = cookiejar.MozillaCookieJar()
? ? #加載cookie文件
? ? cookie.load(filename)
? ? print(cookie)
?
get_cookie()
use_cookie()

3.異常處理

①u(mài)rllib.error.URLError：用于捕獲由urllib.request產(chǎn)生的異常，使用reason屬性返回錯(cuò)誤原因

import urllib.request
import urllib.error
?
url = 'http://www.google.com'
try:
? ? resp = urllib.request.urlopen(url)
except urllib.error.URLError as e:
? ? print(e.reason)

輸出結(jié)果：

[WinError 10060] 由于連接方在一段時(shí)間后沒(méi)有正確答復(fù)或連接的主機(jī)沒(méi)有反應(yīng)，連接嘗試失敗。

②urllib.error.HTTPError：用于處理HTTP與HTTPS請(qǐng)求的錯(cuò)誤，

有三個(gè)屬性：

code：請(qǐng)求返回的狀態(tài)碼
reason：返回錯(cuò)誤的原因
headers：請(qǐng)求返回的響應(yīng)頭信息

import urllib.request
import urllib.error
?
url = 'https://movie.douban.com/'
try:
? ? resp = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
? ? print('原因：',e.reason)
? ? print('響應(yīng)狀態(tài)碼：',str(e.code))
? ? print('響應(yīng)頭數(shù)據(jù)：',e.headers)

到此這篇關(guān)于Python爬蟲(chóng)之網(wǎng)絡(luò)請(qǐng)求的文章就介紹到這了,更多相關(guān)Python 網(wǎng)絡(luò)請(qǐng)求內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: