快捷導(dǎo)航

Python反爬蟲偽裝瀏覽器進(jìn)行爬蟲

更新時(shí)間：2020年02月28日 13:25:32 作者：Tynam.Yang

這篇文章主要介紹了Python反爬蟲偽裝瀏覽器進(jìn)行爬蟲,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

對(duì)于爬蟲中部分網(wǎng)站設(shè)置了請(qǐng)求次數(shù)過多后會(huì)封殺ip，現(xiàn)在模擬瀏覽器進(jìn)行爬蟲，也就是說讓服務(wù)器認(rèn)識(shí)到訪問他的是真正的瀏覽器而不是機(jī)器操作

簡(jiǎn)單的直接添加請(qǐng)求頭，將瀏覽器的信息在請(qǐng)求數(shù)據(jù)時(shí)傳入：

打開瀏覽器--打開開發(fā)者模式--請(qǐng)求任意網(wǎng)站

如下圖：找到請(qǐng)求的的名字，打開后查看headers欄，找到User-Agent，復(fù)制。然后添加到請(qǐng)求頭中

代碼如下：

import requests
url = 'https://www.baidu.com'
headers ={
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/65.0.3325.181 Safari/537.36'
    }
rq = requests.get(url=url, headers=headers)
print(rq.text)

更深的偽裝瀏覽器，添加多個(gè)瀏覽器信息，每次請(qǐng)求的時(shí)候隨機(jī)發(fā)送瀏覽器信息，讓服務(wù)器了解不是一個(gè)瀏覽器一直在訪問，（可以百度查找user-agent）

代碼如下：

import requests
import random

url = 'https://www.baidu.com'
headers_lists =(
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/65.0.3325.181 Safari/537.36',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0',
    'Opera/9.80(Android2.3.4;Linux;Operamobi/adr-1107051709;U;zh-cn)Presto/2.8.149Version/11.10',
    'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
    'Mozilla/5.0(Android;Linuxarmv7l;rv:5.0)Gecko/Firefox/5.0fennec/5.0',)

rq = requests.get(url=url,headers={'User-Agent':random.choice(headers_lists)})
print(rq.text)

完整的請(qǐng)求體解釋：

以下是筆者訪問百度的請(qǐng)求體。

Accept：瀏覽器端可以接受的媒體類型

Accept-Encoding：瀏覽器申明自己接收的編碼方法

Accept-Language：瀏覽器申明自己接收的語(yǔ)言

Connection:keep-alive 客戶端和服務(wù)器之間還在連接中，如果關(guān)閉就是close

Host:請(qǐng)求報(bào)頭域主要用于指定被請(qǐng)求資源的Internet主機(jī)和端口號(hào)

User-Agent：使用的操作系統(tǒng)和瀏覽器的名稱和版本

Cookie:是用來存儲(chǔ)一些用戶信息以便讓服務(wù)器辨別用戶身份的

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python爬蟲爬取電影票房數(shù)據(jù)及圖表展示操作示例
這篇文章主要介紹了Python爬蟲爬取電影票房數(shù)據(jù)及圖表展示操作,結(jié)合實(shí)例形式分析了Python爬蟲爬取、解析電影票房數(shù)據(jù)并進(jìn)行圖表展示操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下
2020-03-03
使用Python進(jìn)行大規(guī)模數(shù)據(jù)處理和分析
大規(guī)模數(shù)據(jù)處理和分析旨在從海量數(shù)據(jù)中提取有用的信息和見解,以支持決策制定和業(yè)務(wù)發(fā)展,Python憑借其豐富的生態(tài)系統(tǒng)和強(qiáng)大的庫(kù),為處理和分析數(shù)據(jù)提供了豐富的工具和資源,在本文中,我們將深入探討如何利用Python進(jìn)行大規(guī)模數(shù)據(jù)處理和分析,需要的朋友可以參考下
2024-05-05
Python?Collections庫(kù)的高級(jí)功能使用示例詳解
Python的collections庫(kù)提供了一系列有用的數(shù)據(jù)類型,擴(kuò)展了內(nèi)建的數(shù)據(jù)類型,為開發(fā)者提供了更多高級(jí)功能,本文將深入探討collections庫(kù)的一些高級(jí)功能,通過詳細(xì)的示例代碼演示,幫助大家更好地理解和應(yīng)用這些功能
2023-12-12
使用python實(shí)現(xiàn)多維數(shù)據(jù)降維操作
今天小編就為大家分享一篇使用python實(shí)現(xiàn)多維數(shù)據(jù)降維操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
numpy庫(kù)與pandas庫(kù)axis=0，axis= 1軸的用法詳解
這篇文章主要介紹了numpy庫(kù)與pandas庫(kù)axis=0，axis= 1軸的用法詳解，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-05-05
如何在python?中導(dǎo)入?package
這篇文章主要介紹了?如何在python中導(dǎo)入,package,package?在python中是一種有效組織代碼，module可以是一個(gè)文件，可以通過import來導(dǎo)入一個(gè)module?單個(gè)文件,而,package,則是作為一個(gè)目錄來導(dǎo)入,下文操作流程需要的朋友可以參考一下
2022-04-04
Python 文件操作的詳解及實(shí)例
這篇文章主要介紹了Python 文件操作的詳解及實(shí)例的相關(guān)資料,希望通過本文大家能夠理解掌握Python 文件操作的知識(shí)，需要的朋友可以參考下
2017-09-09
Python while、for、生成器、列表推導(dǎo)等語(yǔ)句的執(zhí)行效率測(cè)試
這篇文章主要介紹了Python while、for、生成器、列表推導(dǎo)等語(yǔ)句的執(zhí)行效率測(cè)試,本文分別用兩段程序測(cè)算出了各語(yǔ)句的執(zhí)行效率,然后總結(jié)了什么情況下使用什么語(yǔ)句優(yōu)先使用的語(yǔ)句等,需要的朋友可以參考下
2015-06-06
深入淺出學(xué)習(xí)python裝飾器
這篇文章主要和大家一起深入淺出的學(xué)習(xí)python裝飾器的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-09-09
Anaconda下Python中h5py與netCDF4模塊下載與安裝的教程詳解
這篇文章主要為大家詳細(xì)介紹了基于Anaconda,下載并安裝Python中h5py與netCDF4這兩個(gè)模塊的方法,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2024-01-01