python中Scrapy?shell的使用
前言：
我們想要在爬蟲中使用xpath、beautifulsoup、正則表達(dá)式，css選擇器等來提取想要的數(shù)據(jù)，但是因?yàn)?code>scrapy是一個(gè)比較重的框架，每次運(yùn)行都要等到一段時(shí)間，因此要去驗(yàn)證我們提取規(guī)則是否正確，是一個(gè)比較麻煩的事情，因此，scrapy提供了一個(gè)shell。用來方便的測(cè)試規(guī)則，當(dāng)然也不僅僅局限于這一個(gè)功能。
打開Scrapy shell：
進(jìn)入命令行終端，進(jìn)入到scrapy項(xiàng)目所在的目錄，然后進(jìn)入到scrapy框架所在的虛擬環(huán)境中，輸入命令 scrapy shell [鏈接] ，就會(huì)進(jìn)入到scrapy的shell環(huán)境中。在這個(gè)環(huán)境中，你可以跟在爬蟲的parse方法中一樣使用了。
進(jìn)入到scrapy項(xiàng)目所在的目錄：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
進(jìn)入到scrapy框架所在的虛擬環(huán)境中：
?source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
輸入命令 scrapy shell [鏈接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
輸入我們需要測(cè)試的語句：
? ? ? ?srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
到此這篇關(guān)于python入門之Scrapy shell的使用的文章就介紹到這了,更多相關(guān)Scrapy shell的使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
完美解決pyinstaller打包報(bào)錯(cuò)找不到依賴pypiwin32或pywin32-ctypes的錯(cuò)誤
這篇文章主要介紹了完美解決pyinstaller打包報(bào)錯(cuò)找不到依賴pypiwin32或pywin32-ctypes的錯(cuò)誤,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python 使用PIL.Image制作運(yùn)動(dòng)小人的動(dòng)態(tài)圖思路詳解
這篇文章主要介紹了Python 使用PIL.Image制作一個(gè)運(yùn)動(dòng)小人的動(dòng)態(tài)圖,制作過程也很簡(jiǎn)單，只需要把圖片拆分成12等分，每幀大?。?7x165；連續(xù)讀取和播放就會(huì)形成動(dòng)態(tài)圖像，需要的朋友可以參考下2021-10-10
Pytorch基礎(chǔ)教程之torchserve模型部署解析
torchserve是基于netty網(wǎng)絡(luò)框架實(shí)現(xiàn)的，底層使用EpollServerSocketChannel服務(wù)進(jìn)行網(wǎng)絡(luò)通信，通過epoll多路復(fù)用技術(shù)實(shí)現(xiàn)高并發(fā)網(wǎng)絡(luò)連接處理，這篇文章主要介紹了Pytorch基礎(chǔ)教程之torchserve模型部署和推理,需要的朋友可以參考下2023-07-07
Pandas進(jìn)行數(shù)據(jù)編碼的十種方式總結(jié)
在機(jī)器學(xué)習(xí)中，很多算法都需要我們對(duì)分類特征進(jìn)行轉(zhuǎn)換（編碼），即根據(jù)某一列的值，新增（修改）一列。本文為大家總結(jié)了Pandas中十種數(shù)據(jù)編碼的方式，需要的可以參考一下2022-04-04
這篇文章主要介紹了Scrapy實(shí)現(xiàn)模擬登錄的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
在Python的Django框架中創(chuàng)建和使用模版
這篇文章主要介紹了在Python的Django框架中創(chuàng)建和使用模版的方法,包括使用manage.py shell來幫助設(shè)置模版的方法,需要的朋友可以參考下2015-07-07
相信大家都遇到過這種情況，下載文件的時(shí)候遇到壓縮包又沒有密碼，或者說自己設(shè)置的加密密碼，但是忘記了，就很難受。下面就將為大家介紹如何解決這一問題2021-12-12
Python強(qiáng)化練習(xí)之Tensorflow2 opp算法實(shí)現(xiàn)月球登陸器
在面向?qū)ο蟪霈F(xiàn)之前，我們采用的開發(fā)方法都是面向過程的編程(OPP)。面向過程的編程中最常用的一個(gè)分析方法是“功能分解”。我們會(huì)把用戶需求先分解成模塊，然后把模塊分解成大的功能，再把大的功能分解成小的功能，整個(gè)需求就是按照這樣的方式，最終分解成一個(gè)一個(gè)的函數(shù)2021-10-10
python如何獲取列表中每個(gè)元素的下標(biāo)位置
這篇文章主要介紹了python如何獲取列表中每個(gè)元素的下標(biāo)位置,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
Pandas是一個(gè)在數(shù)據(jù)科學(xué)中常用的功能強(qiáng)大的Python庫。在某些情況下，我們可能希望更改所顯示內(nèi)容的格式，這就需要使用Pandas的一些定制功能來幫助我們自定義內(nèi)容的顯示方式。本文為大家總結(jié)了7個(gè)有用的Pandas顯示選項(xiàng)，希望對(duì)大家有所幫助2022-12-12