Python使用scrapy采集數(shù)據(jù)過程中放回下載過大頁面的方法
更新時(shí)間：2015年04月08日 10:27:20 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集數(shù)據(jù)過程中放回下載過大頁面的方法,可實(shí)現(xiàn)限制下載過大頁面的功能,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
本文實(shí)例講述了Python使用scrapy采集數(shù)據(jù)過程中放回下載過大頁面的方法。分享給大家供大家參考。具體分析如下：
添加以下代碼到settings.py，myproject為你的項(xiàng)目名稱
復(fù)制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.LimitSizeHTTPClientFactory'
自定義限制下載過大頁面的模塊
復(fù)制代碼 代碼如下:
MAX_RESPONSE_SIZE = 1048576 # 1Mb
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
python中parser.add_argument()用法實(shí)例(命令行選項(xiàng)、參數(shù)和子命令解析器)
最近開始讀論文代碼了,遇到一個(gè)名字叫option的py文件,打開一看清一色的parser.add_argument(),看得是一臉懵逼,這篇文章主要給大家介紹了關(guān)于python中parser.add_argument()用法的相關(guān)資料,需要的朋友可以參考下2022-03-03
使用Python pyglet庫編寫一個(gè)可播放音樂的揚(yáng)聲器類流程詳解
這篇文章主要介紹了使用Python pyglet庫編寫一個(gè)可播放音樂的揚(yáng)聲器類,Pyglet主要用于創(chuàng)建視頻游戲、獨(dú)立游戲和多媒體應(yīng)用,它提供了一組用于制作游戲的常用功能,包括圖形渲染、聲音播放、事件處理等等,需要的朋友可以參考下2024-03-03
這篇文章主要為大家詳細(xì)介紹了基于python的ini配置文件操作工具類，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-04-04
python實(shí)現(xiàn)統(tǒng)計(jì)文本中單詞出現(xiàn)的頻率詳解
這篇文章主要介紹了python統(tǒng)計(jì)文本中單詞出現(xiàn)頻率，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
cmd運(yùn)行python文件時(shí)對(duì)結(jié)果進(jìn)行保存的方法
今天小編就為大家分享一篇cmd運(yùn)行python文件時(shí)對(duì)結(jié)果進(jìn)行保存的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
本文是一個(gè)Python新手編寫的熱門游戲2048的代碼，使用Python3編寫，基于控制臺(tái)，對(duì)于Python新手們熟悉Python語法非常有幫助，這里推薦給大家，希望大家能夠喜歡。2015-03-03
Python是一種非常靈活的編程語言，可以混合使用同步和異步函數(shù)來實(shí)現(xiàn)更高效的編程。本文將介紹如何在Python中混合使用同步和異步函數(shù)，以及如何在不同場(chǎng)景下選擇合適的函數(shù)，感興趣的可以了解一下2023-03-03
Python3 列表 序列是Python中最基本的數(shù)據(jù)結(jié)構(gòu)，下面這篇文章主要給大家介紹了關(guān)于Python3學(xué)習(xí)筆記之列表方法的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友可以參考下。2017-10-10
Python3+OpenCV2實(shí)現(xiàn)圖像的幾何變換(平移、鏡像、縮放、旋轉(zhuǎn)、仿射)
這篇文章主要介紹了Python3+OpenCV2實(shí)現(xiàn)圖像的幾何變換(平移、鏡像、縮放、旋轉(zhuǎn)、仿射),小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-05-05
Python制作動(dòng)態(tài)詞頻條形圖的全過程
說起動(dòng)態(tài)圖表,最火的莫過于動(dòng)態(tài)條形圖了,下面這篇文章主要給大家介紹了關(guān)于Python制作動(dòng)態(tài)詞頻條形圖的全過程,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-11-11