python scrapy腳本報錯問題及解決
python scrapy腳本報錯
原本一個好好的爬蟲腳本，最近運(yùn)行時突然報錯：
報錯代碼
如下：
File "e:\python3.7.1\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]
分析報錯
發(fā)送的請求未被接受，鏈接已斷開
百度最終定位到是請求頭的原因：
原本的請求頭的HOST被換了，腳本發(fā)起請求時就被拒了，因此把請求頭修改就好了
解決scrapy需要批量啟動多個腳本問題,scrapy批量運(yùn)行腳本
問題描述
今天遇到在遠(yuǎn)程服務(wù)器上，os 批量啟動時存在啟動不了的情況
問題解決
批量啟動有好多種方式，但是我個人主要用的有兩個，
當(dāng)?shù)谝粋€無法啟動時，測試第二種啟動方式 ，可以正常啟動；
"""
批量啟動
"""
# ------------------- 第一種 ----------------------------------------
import os
os.system("scrapy crawl Nj")
os.system("scrapy crawl Yanc")
os.system("scrapy crawl Hzs")
簡單做個記錄吧。
第二種，是調(diào)用scrapy 系統(tǒng)自帶的方式
為了讓同一個 Scrapy 項目下面的多個爬蟲實(shí)現(xiàn)真正的同時運(yùn)行，我們可以使用 Scrapy 的CrawlerProcess。
它的用法如下：
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
crawler = CrawlerProcess(settings)
crawler.crawl('爬蟲名1')
crawler.crawl('爬蟲名2')
crawler.crawl('爬蟲名3')
crawler.start()
使用這種方法，可以在同一個進(jìn)程里面跑多個爬蟲。
# -------------------- 第二種 ------------------------------------
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
crawler = CrawlerProcess(settings)
crawler.crawl('Nj')
crawler.crawl('Yanc')
crawler.crawl('Hzs')
crawler.start()
兩種方式都可以實(shí)現(xiàn)，scrapy 多個項目的批量啟動
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
python: 判斷tuple、list、dict是否為空的方法
今天小編就為大家分享一篇python: 判斷tuple、list、dict是否為空的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要為大家介紹了Python生成圖像特效,本文重點(diǎn)介紹如何使用python進(jìn)行圖像處理,生成各式各樣的圖像特效,有需要的朋友可以借鑒參考下,希望能夠有所幫助2023-10-10
python中集合set是一個無序不重復(fù)元素的集，基本功能包括關(guān)系測試和消除重復(fù)元素，還可以計算交集、差集、并集等，它與列表（list）的行為類似，這篇文章主要介紹了python?set()去重的底層原理,需要的朋友可以參考下2022-01-01
教你怎么用PyCharm為同一服務(wù)器配置多個python解釋器
當(dāng)我們在服務(wù)器上創(chuàng)建了多個虛擬環(huán)境時,也可以在 PyCharm 中配置這些虛擬環(huán)境,方便不同的項目使用不同的環(huán)境,然而按照網(wǎng)上教程添加多個python解釋器后,PyCharm會自動幫我們創(chuàng)建多個重復(fù)的服務(wù)器,本文主要給出該問題的解決方法,同時也對添加解釋器做一個詳細(xì)的講解2021-05-05
Python開發(fā)圍棋游戲的實(shí)例代碼（實(shí)現(xiàn)全部功能）
圍棋是一種古老而復(fù)雜的策略棋類游戲,起源于中國,已有超過2500年的歷史,本文介紹了如何用Python開發(fā)一個簡單的圍棋游戲,實(shí)例代碼涵蓋了游戲的基本規(guī)則、界面設(shè)計、棋盤實(shí)現(xiàn)、棋子管理、游戲邏輯等多個方面,通過逐步實(shí)現(xiàn)落子、吃子、判斷勝負(fù)等功能2024-12-12
這篇文章主要介紹了python?import?引用上上上級包的三種方法包的三種方法,需要的朋友可以參考下2023-02-02
在echarts中圖例legend和坐標(biāo)系grid實(shí)現(xiàn)左右布局實(shí)例
這篇文章主要介紹了在echarts中圖例legend和坐標(biāo)系grid實(shí)現(xiàn)左右布局實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
Flask中的閃現(xiàn)是一種在請求之間傳遞消息的機(jī)制,本文就來介紹一下Flask之閃現(xiàn)flash原理及使用,具有一定的參考價值,感興趣的可以了解一下2023-12-12
今天小編就為大家分享一篇python查看列的唯一值方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Python Metaclass原理與實(shí)現(xiàn)過程詳細(xì)講解
MetaClass元類，本質(zhì)也是一個類，但和普通類的用法不同，它可以對類內(nèi)部的定義（包括類屬性和類方法）進(jìn)行動態(tài)的修改。可以這么說，使用元類的主要目的就是為了實(shí)現(xiàn)在創(chuàng)建類時，能夠動態(tài)地改變類中定義的屬性或者方法2022-11-11