python爬蟲之scrapy框架詳解
1.在pycharm下安裝scrapy函數(shù)庫 2.將安裝好scrapy函數(shù)庫下的路徑配置到系統(tǒng)path的環(huán)境變量中 3.打開cmd終端輸入：scrapy.exe檢查是否安裝成功 4.創(chuàng)建一個項(xiàng)目：scrapy startproject 項(xiàng)目名字 5.cd進(jìn)入該目錄下，創(chuàng)建一個spider：scrapy genspider 項(xiàng)目名字 網(wǎng)址 6.編輯settings.py文件中的USER_AGENT選項(xiàng)為正常的瀏覽器頭部 7.執(zhí)行這個spider：scrapy crawl 項(xiàng)目名字 8.如果遇到因pip版本太低導(dǎo)致安裝不了scarpy函數(shù)庫，可以先在cmd窗口輸入py -m pip install --upgrade pip升級命令（前提是你的python環(huán)境下得有pip，可通過輸入pip命令查看是否已安裝，如未安裝得去官網(wǎng)下載并解壓至相應(yīng)路徑）
代碼示例命令截圖:
項(xiàng)目文件截圖：
settings.py文件截圖：（需要修改爬取網(wǎng)站的USER_AGENT）
scrapy運(yùn)行工作流程圖:
Spiders(爬蟲):它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)
Engine(引擎)：負(fù)責(zé)Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數(shù)據(jù)傳遞等。
Scheduler(調(diào)度器)：它負(fù)責(zé)接受引擎發(fā)送過來的Request請求，并按照一定的方式進(jìn)行整理排列，入隊(duì)，當(dāng)引擎需要時，交還給引擎。
Downloader(下載器)：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理
ItemPipeline(管道):它負(fù)責(zé)處理Spider中獲取到的Item，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、過濾、存儲等）的地方.
Downloader Middlewares（下載中間件）：你可以當(dāng)作是一個可以自定義擴(kuò)展下載功能的組件。
Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴(kuò)展和操作引擎和Spider中間
通信的功能組件（比如進(jìn)入Spider的Responses;和從Spider出去的Requests）
總結(jié)
本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
- python爬蟲框架scrapy下載中間件的編寫方法
- python爬蟲框架scrapy代理中間件掌握學(xué)習(xí)教程
- python爬蟲框架Scrapy基本應(yīng)用學(xué)習(xí)教程
- Python爬蟲教程使用Scrapy框架爬取小說代碼示例
- Python爬蟲框架之Scrapy中Spider的用法
- Python爬蟲基礎(chǔ)之簡單說一下scrapy的框架結(jié)構(gòu)
- Python爬蟲基礎(chǔ)講解之scrapy框架
- Python爬蟲框架-scrapy的使用
- python爬蟲scrapy框架之增量式爬蟲的示例代碼
- python爬蟲scrapy框架的梨視頻案例解析
- python Scrapy爬蟲框架的使用
- Python爬蟲框架Scrapy簡介
相關(guān)文章
Python實(shí)現(xiàn)Event回調(diào)機(jī)制的方法
今天小編就為大家分享一篇Python實(shí)現(xiàn)Event回調(diào)機(jī)制的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
python之驗(yàn)證碼生成(gvcode與captcha)
這篇文章主要介紹了python之驗(yàn)證碼生成(gvcode與captcha),小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-01-01
pytest接口測試之fixture傳參數(shù)request的使用
本文主要介紹了pytest接口測試之fixture傳參數(shù)request的使用，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
python基礎(chǔ)之單分派泛函數(shù)singledispatch
這篇文章主要介紹了python基礎(chǔ)之單分派泛函數(shù)singledispatch問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
這篇文章主要介紹了django 郵件發(fā)送模塊smtp使用詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
淺談Pytorch中的torch.gather函數(shù)的含義
今天小編就為大家分享一篇淺談Pytorch中的torch.gather函數(shù)的含義，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
python調(diào)用攝像頭拍攝數(shù)據(jù)集
這篇文章主要為大家詳細(xì)介紹了Python調(diào)用攝像頭拍攝數(shù)據(jù)集，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
python中的__init__ 、__new__、__call__小結(jié)
這篇文章主要介紹了python中的__init__ 、__new__、__call__小結(jié),需要的朋友可以參考下2014-04-04
使用Python實(shí)現(xiàn)NBA球員數(shù)據(jù)查詢小程序功能
這篇文章主要介紹了使用Python實(shí)現(xiàn)NBA球員數(shù)據(jù)查詢小程序功能,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
python中字符串?dāng)?shù)組逆序排列方法總結(jié)
在本篇文章里小編給大家整理了關(guān)于python中字符串?dāng)?shù)組如何逆序排列的相關(guān)知識點(diǎn)，需要的朋友們學(xué)習(xí)下。2019-06-06