Python使用scrapy采集數(shù)據(jù)時(shí)為每個(gè)請(qǐng)求隨機(jī)分配user-agent的方法
更新時(shí)間：2015年04月08日 10:59:13 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集數(shù)據(jù)時(shí)為每個(gè)請(qǐng)求隨機(jī)分配user-agent的方法,涉及Python使用scrapy采集數(shù)據(jù)的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
本文實(shí)例講述了Python使用scrapy采集數(shù)據(jù)時(shí)為每個(gè)請(qǐng)求隨機(jī)分配user-agent的方法。分享給大家供大家參考。具體分析如下：
通過(guò)這個(gè)方法可以每次請(qǐng)求更換不同的user-agent，防止網(wǎng)站根據(jù)user-agent屏蔽scrapy的蜘蛛
首先將下面的代碼添加到settings.py文件，替換默認(rèn)的user-agent處理模塊
復(fù)制代碼 代碼如下:
DOWNLOADER_MIDDLEWARES = {
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
自定義useragent處理模塊
復(fù)制代碼 代碼如下:
from scraper.settings import USER_AGENT_LIST
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA %s'%request.headers)
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA %s'%request.headers)
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
Python 實(shí)現(xiàn)圖片轉(zhuǎn)字符畫的示例(靜態(tài)圖片,gif皆可)
這篇文章主要介紹了Python 實(shí)現(xiàn)圖片轉(zhuǎn)字符畫的示例，幫助大家更好的利用python進(jìn)行圖片處理，感興趣的朋友可以了解下2020-11-11
本文主要介紹了Python刪除指定字符之前或之后所有內(nèi)容的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
Python圖片視頻超分模型RealBasicVSR的使用教程
這篇文章主要和大家分享一個(gè)有意思的模型：RealBasicVSR。這個(gè)模型可以實(shí)現(xiàn)圖片或視頻的超分處理，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2022-05-05
使用python搭建服務(wù)器并實(shí)現(xiàn)Android端與之通信的方法
今天小編就為大家分享一篇使用python搭建服務(wù)器并實(shí)現(xiàn)Android端與之通信的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
使用pyecharts無(wú)法import Bar的解決方案
這篇文章主要介紹了使用pyecharts無(wú)法import Bar的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2017-01-01
最新版 Windows10上安裝Python 3.8.5的步驟詳解
這篇文章主要介紹了最新版 Windows10上安裝Python 3.8.5的步驟詳解,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
詳談在flask中使用jsonify和json.dumps的區(qū)別
下面小編就為大家分享一篇詳談在flask中使用jsonify和json.dumps的區(qū)別，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-03-03
python通過(guò)tcp發(fā)送xml報(bào)文的方法
今天小編就為大家分享一篇python通過(guò)tcp發(fā)送xml報(bào)文的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
Python實(shí)現(xiàn)人機(jī)中國(guó)象棋游戲
中國(guó)象棋是一種古老的棋類游戲，大約有兩千年的歷史。本文將介紹如何通過(guò)Python中的Pygame模塊實(shí)現(xiàn)人機(jī)中國(guó)象棋游戲，感興趣的可以學(xué)習(xí)一下2022-01-01
Python+random模塊實(shí)現(xiàn)隨機(jī)抽樣
python的random庫(kù)，提供了很多隨機(jī)抽樣方法。本文將通過(guò)幾個(gè)示例為大家詳細(xì)講講random模塊實(shí)現(xiàn)隨機(jī)抽樣的方法，需要的可以參考一下2022-09-09