scrapy-redis的安裝部署步驟講解
先說(shuō)下自己的環(huán)境，redis是部署在centos上的，爬蟲(chóng)運(yùn)行在windows上，
1. 安裝redis
yum install -y redis
2. 修改配置文件
vi /etc/redis.conf
將 protected-mode no解注釋，否則的話，在不設(shè)置密碼情況下遠(yuǎn)程無(wú)法連接redis
3. 重啟redis
systemctl restart redis
4. 關(guān)閉防火墻
systemctl stop firewalld.service
5. 開(kāi)始創(chuàng)建scrapy-redis的相關(guān)，和普通的scrapy一樣的創(chuàng)建，只不過(guò)修改setting.py文件，添加一行
REDIS_URL = 'redis://192.168.61.130:6379'
6. 修改spiders.py文件
# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass
7. 可以執(zhí)行這個(gè)爬蟲(chóng)了
scrapy runspider example.py
8. 進(jìn)入redis
redis-cli -h 127.0.0.1 -p rpush test_key http://test.com
即可看到爬蟲(chóng)開(kāi)始運(yùn)行了
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
相關(guān)文章
在本篇文章里小編給大家分享的是一篇關(guān)于python解包知識(shí)點(diǎn)總結(jié)，對(duì)此有興趣的朋友們可以學(xué)習(xí)參考下。2021-02-02
這篇文章主要介紹了python3序列化與反序列化用法,實(shí)例分析了Python3使用pickle模塊針對(duì)字符串進(jìn)行序列化操作的相關(guān)技巧,需要的朋友可以參考下2015-05-05
python BeautifulSoup設(shè)置頁(yè)面編碼的方法
這篇文章主要介紹了python BeautifulSoup設(shè)置頁(yè)頁(yè)編碼的方法,本文直接給出代碼救命,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了PyQt5 QDockWidget控件應(yīng)用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
代碼解析python標(biāo)準(zhǔn)庫(kù)logging模塊
這篇文章主要為大家介紹了代碼解析python標(biāo)準(zhǔn)庫(kù)logging模塊，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
Python+Selenium+Pytesseract實(shí)現(xiàn)圖片驗(yàn)證碼識(shí)別
這篇文章主要介紹了利用Python+Selenium+Pytesseract實(shí)現(xiàn)圖片驗(yàn)證碼識(shí)別，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2022-01-01
python Hypothesis生成和執(zhí)行大量的測(cè)試用例
Hypothesis是一個(gè)基于屬性的測(cè)試（property-based testing）庫(kù),它能夠幫助我們生成和執(zhí)行大量的測(cè)試用例,與傳統(tǒng)的單元測(cè)試相比,屬性測(cè)試更加靈活和全面,能夠發(fā)現(xiàn)更多的邊界情況和潛在的錯(cuò)誤2024-01-01
PyCharm設(shè)置每行最大長(zhǎng)度限制的方法
今天小編就為大家分享一篇PyCharm設(shè)置每行最大長(zhǎng)度限制的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
這篇文章主要介紹了python中文編碼問(wèn)題,是Python程序設(shè)計(jì)中比較常見(jiàn)的一類問(wèn)題,本文以實(shí)例形式對(duì)此進(jìn)行了較為詳細(xì)的總結(jié),需要的朋友可以參考下2014-09-09
python標(biāo)準(zhǔn)庫(kù)學(xué)習(xí)之sys模塊詳解
sys模塊是最常用的和python解釋器交互的模塊,sys模塊可供訪問(wèn)由解釋器(interpreter)使用或維護(hù)的變量和與解釋器進(jìn)行交互的函數(shù),下面這篇文章主要給大家介紹了關(guān)于python標(biāo)準(zhǔn)庫(kù)學(xué)習(xí)之sys模塊的相關(guān)資料,需要的朋友可以參考下2022-08-08