Scrapy爬蟲文件批量運(yùn)行的實(shí)現(xiàn)
Scrapy批量運(yùn)行爬蟲文件的兩種方法：
1、使用CrawProcess實(shí)現(xiàn)
https://doc.scrapy.org/en/latest/topics/practices.html
2、修改craw源碼+自定義命令的方式實(shí)現(xiàn)
（1）我們打開scrapy.commands.crawl.py 文件可以看到：
def run(self, args, opts):
if len(args) < 1:
raise UsageError()
elif len(args) > 1:
raise UsageError("running 'scrapy crawl' with more than one spider is no longer supported")
spname = args[0]
self.crawler_process.crawl(spname, **opts.spargs)
self.crawler_process.start()
這是crawl.py 文件中的run() 方法，在此可以指定運(yùn)行哪個(gè)爬蟲，要運(yùn)行所有的爬蟲，則需要更改這個(gè)方法。
run() 方法中通過crawler_process.crawl(spname, **opts.spargs) 實(shí)現(xiàn)了爬蟲文件的運(yùn)行，spname代表爬蟲名。要運(yùn)行多個(gè)爬蟲文件，首先要獲取所有的爬蟲文件，可以通過crawler_process.spider_loader.list() 實(shí)現(xiàn)。
（2）實(shí)現(xiàn)過程：
a、在spider目錄的同級(jí)目錄下創(chuàng)建存放源代碼的文件夾mycmd，并在該目錄下創(chuàng)建文件mycrawl.py；
b、將crawl.py 中的代碼復(fù)制到mycrawl.py 文件中，然后進(jìn)行修改：
#修改后的run() 方法
def run(self, args, opts):
#獲取爬蟲列表
spd_loader_list = self.crawler_process.spider_loader.list()
#遍歷各爬蟲
for spname in spd_loader_list or args:
self.crawler_process.crawl(spname, **opts.spargs)
print("此時(shí)啟動(dòng)的爬蟲："+spname)
self.crawler_process.start()
同時(shí)可以修改：
def short_desc(self):
return "Run all spider"
c、在mycmd文件夾下添加一個(gè)初始化文件__init__.py，在項(xiàng)目配置文件（setting.py）中添加格式為“COMMANDS_MODULES='項(xiàng)目核心目錄.自定義命令源碼目錄'”的配置；
例如：COMMANDS_MODULE = 'firstpjt.mycmd'
隨后通過命令“scrapy -h”，可以查看到我們添加的命令mycrawl
這樣，我們就可以同時(shí)啟動(dòng)多個(gè)爬蟲文件了，使用命令：
scrapy mycrawl --nolog
到此這篇關(guān)于Scrapy爬蟲文件批量運(yùn)行的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Scrapy 批量運(yùn)行內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Django在Win7下的安裝及創(chuàng)建項(xiàng)目hello word簡(jiǎn)明教程
這篇文章主要介紹了Django在Win7下的安裝及創(chuàng)建項(xiàng)目hello word,需要的朋友可以參考下2014-07-07
這篇文章主要為大家詳細(xì)介紹了python主線程捕獲子線程的方法，具有一定的參考價(jià)值，感興趣的朋友可以參考一下2018-06-06
這篇文章主要介紹了python中測(cè)試框架的相關(guān)資料，幫助大家更好的理解和使用python進(jìn)行測(cè)試，感興趣的朋友可以了解下2020-11-11
Python設(shè)計(jì)模式編程中Adapter適配器模式的使用實(shí)例
這篇文章主要介紹了Python設(shè)計(jì)模式編程中Adapter適配器模式的使用實(shí)例,一般來說適配器模式可以細(xì)分為類適配器和對(duì)象適配器模式,需要的朋友可以參考下2016-03-03
這篇文章主要介紹了flask入門之表單的實(shí)現(xiàn)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了簡(jiǎn)單了解Django View（視圖系統(tǒng)）,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
Python中read,readline和readlines的區(qū)別案例詳解
這篇文章主要介紹了Python中read,readline和readlines的區(qū)別案例詳解,本篇文章通過簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-09-09
PyTorch是一個(gè)開源的Python機(jī)器學(xué)習(xí)庫(kù)，基于Torch，用于自然語(yǔ)言處理等應(yīng)用程序，它是一個(gè)可續(xù)計(jì)算包，提供兩個(gè)高級(jí)功能：1、具有強(qiáng)大的GPU加速的張量計(jì)算（如NumPy）。2、包含自動(dòng)求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)2021-10-10
今天小編就為大家分享一篇淺談python下含中文字符串正則表達(dá)式的編碼問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-12-12
詳解selenium + chromedriver 被反爬的解決方法
這篇文章主要介紹了詳解selenium + chromedriver 被反爬的解決方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10