Python使用scrapy采集時(shí)偽裝成HTTP/1.1的方法
更新時(shí)間：2015年04月08日 10:18:35 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集時(shí)偽裝成HTTP/1.1的方法,實(shí)例分析了scrapy采集的使用技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
本文實(shí)例講述了Python使用scrapy采集時(shí)偽裝成HTTP/1.1的方法。分享給大家供大家參考。具體如下：
添加下面的代碼到 settings.py 文件
復(fù)制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'
保存以下代碼到單獨(dú)的.py文件
復(fù)制代碼 代碼如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
這篇文章主要介紹了深入淺析python繼承問題的相關(guān)資料，非常不錯(cuò)，感興趣的朋友一起看看吧2016-05-05
python實(shí)現(xiàn)一個(gè)點(diǎn)繞另一個(gè)點(diǎn)旋轉(zhuǎn)后的坐標(biāo)
今天小編就為大家分享一篇python實(shí)現(xiàn)一個(gè)點(diǎn)繞另一個(gè)點(diǎn)旋轉(zhuǎn)后的坐標(biāo)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
最近在使用python做接口測(cè)試，發(fā)現(xiàn)python中http請(qǐng)求方法有許多種，今天抽點(diǎn)時(shí)間把相關(guān)內(nèi)容整理，對(duì)python http請(qǐng)求相關(guān)知識(shí)感興趣的朋友一起學(xué)習(xí)吧2016-01-01
在本篇文章里小編給大家分享了關(guān)于python代碼運(yùn)行助手用法，需要的朋友們可以學(xué)習(xí)下。2020-07-07
Python+Selenium實(shí)現(xiàn)自動(dòng)填寫問卷
本文主要介紹了Python+Selenium實(shí)現(xiàn)自動(dòng)填寫問卷，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
這篇文章主要介紹了Python批量安裝卸載1000個(gè)apk的方法，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了Python中的pack和unpack的使用,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-03-03
Python利用Xpath選擇器爬取京東網(wǎng)商品信息
這篇文章主要介紹了Python利用Xpath選擇器爬取京東網(wǎng)商品信息,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06
跟老齊學(xué)Python之網(wǎng)站的結(jié)構(gòu)
本教程的最終目的就是教會(huì)大家如何使用Python制作網(wǎng)站，非常的詳盡，需要的朋友可以參考下2014-10-10
python?matplotlib自定義colorbar顏色條及內(nèi)置色條詳解
由于自己畫圖的需要想要用一些自定義的顏色來做一個(gè)colorbar,所以下面這篇文章主要給大家介紹了關(guān)于python?matplotlib自定義colorbar顏色條及內(nèi)置色條的相關(guān)資料,需要的朋友可以參考下2022-08-08