Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析
本文實(shí)例講述了Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法。分享給大家供大家參考，具體如下：
如何應(yīng)對(duì)網(wǎng)站的反爬蟲(chóng)機(jī)制
在訪問(wèn)某些網(wǎng)站的時(shí)候，網(wǎng)站通常會(huì)用判斷訪問(wèn)是否帶有頭文件來(lái)鑒別該訪問(wèn)是否為爬蟲(chóng)，用來(lái)作為反爬取的一種策略。
例如打開(kāi)搜狐首頁(yè)，先來(lái)看一下Chrome的頭信息（F12打開(kāi)開(kāi)發(fā)者模式）如下：
如圖，訪問(wèn)頭信息中顯示了瀏覽器以及系統(tǒng)的信息（headers所含信息眾多，具體可自行查詢）
Python中urllib中的request模塊提供了模擬瀏覽器訪問(wèn)的功能，代碼如下：
from urllib import request
url = 'http://www.baidu.com'
# page = request.Request(url)
# page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
print(page_info)
可以通過(guò)add_header(key, value) 或者直接以參數(shù)的形式和URL一起請(qǐng)求訪問(wèn)，
urllib.request.Request()
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
其中headers是一個(gè)字典，通過(guò)這種方式可以將爬蟲(chóng)模擬成瀏覽器對(duì)網(wǎng)站進(jìn)行訪問(wèn)。
https://docs.python.org/3/library/urllib.request.html?highlight=request#module-urllib.request
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
django echarts餅圖數(shù)據(jù)動(dòng)態(tài)加載的實(shí)例
今天小編就為大家分享一篇django echarts餅圖數(shù)據(jù)動(dòng)態(tài)加載的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
詳解pytorch tensor和ndarray轉(zhuǎn)換相關(guān)總結(jié)
這篇文章主要介紹了詳解pytorch tensor和ndarray轉(zhuǎn)換相關(guān)總結(jié)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
這篇文章主要介紹了pytorch tensor計(jì)算三通道均值方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-07-07
這篇文章主要為大家詳細(xì)介紹了python3中的類繼承，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-03-03
python使用matplotlib畫(huà)柱狀圖、散點(diǎn)圖
這篇文章主要為大家詳細(xì)介紹了python使用matplotlib畫(huà)柱狀圖、散點(diǎn)圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-03-03
數(shù)據(jù)庫(kù)操作入門PyMongo?MongoDB基本用法
這篇文章主要為大家介紹了數(shù)據(jù)庫(kù)操作入門PyMongo MongoDB基本用法示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-11-11
python數(shù)據(jù)處理67個(gè)pandas函數(shù)總結(jié)看完就用
這篇文章主要介紹了python數(shù)據(jù)處理67個(gè)pandas函數(shù)的梳理總結(jié)，看完就可以去用了，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-11-11
Python中docx2txt庫(kù)的使用說(shuō)明
這篇文章主要介紹了Python中docx2txt庫(kù)的使用說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
flask服務(wù)端響應(yīng)與重定向處理的實(shí)現(xiàn)
本文主要介紹了flask服務(wù)端響應(yīng)與重定向處理的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-03-03
keras分類模型中的輸入數(shù)據(jù)與標(biāo)簽的維度實(shí)例
這篇文章主要介紹了keras分類模型中的輸入數(shù)據(jù)與標(biāo)簽的維度實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07