python scrapy重復執(zhí)行實現代碼詳解

更新時間：2019年12月28日 11:48:32 作者：winstonsias

這篇文章主要介紹了python scrapy重復執(zhí)行實現代碼詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架，我們只需要實現少量的代碼，就能夠快速的抓取

Scrapy模塊：

1、scheduler:用來存放url隊列

2、downloader：發(fā)送請求

3、spiders:提取數據和url

4、itemPipeline：數據保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制臺打印日志
configure_logging()
#CrawlerRunner獲取settings.py里的設置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

利用matplotlib實現根據實時數據動態(tài)更新圖形
今天小編就為大家分享一篇利用matplotlib實現根據實時數據動態(tài)更新圖形，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-12-12
Python使用Opencv實現邊緣檢測以及輪廓檢測的實現
這篇文章主要介紹了Python使用Opencv實現邊緣檢測以及輪廓檢測的實現，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-12-12
django haystack實現全文檢索的示例代碼
這篇文章主要介紹了django haystack實現全文檢索的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-06-06
Python爬取當當、京東、亞馬遜圖書信息代碼實例
這篇文章主要介紹了Python爬取當當、京東、亞馬遜圖書信息代碼實例，具有一定借鑒價值，需要的朋友可以參考下。
2017-12-12
用pandas中的DataFrame時選取行或列的方法
今天小編就為大家分享一篇用pandas中的DataFrame時選取行或列的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-07-07
Python實現遍歷目錄的兩張方法總結
我們有時想直接查看文件夾里的所有文件,但使用正常的方法太麻煩了,于是本文開發(fā)出了兩個python程序,可以遍歷目錄,有需要的小伙伴可以參考下
2024-02-02
幾個關于python Pdf 技巧的分享
這篇文章主要介紹了python使用技巧Pdf的詳細內容，PyPDF2是一個純Python的開源庫，能夠分割或合并PDF文件，也可以裁剪或轉換PDF文件中的頁面，下面關于文章主題內容將詳細介紹，需要的小伙伴可以參考一下
2022-02-02
python之excel文件(.xls文件)處理方式
這篇文章主要介紹了python之excel文件(.xls文件)處理方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-05-05
解決python報錯:AttributeError:?'ImageDraw'?object?h
這篇文章主要給大家介紹了關于解決python報錯:AttributeError:?'ImageDraw'?object?has?no?attribute?'textbbox'的相關資料,文中通過圖文介紹的非常詳細,需要的朋友可以參考下
2024-01-01
python讀取大型csv文件的操作方法(降低內存占用)
遇到大型的csv文件時,pandas會把該文件全部加載進內存,從而導致程序運行速度變慢,本文提供了批量讀取csv文件、讀取屬性列的方法,減輕內存占用情況,文中有詳細的代碼示例,需要的朋友可以參考下
2024-03-03