關(guān)于Python網(wǎng)絡(luò)爬蟲框架scrapy
更新時間：2023年04月26日 10:19:11 作者：菜鳥小超
這篇文章主要介紹了關(guān)于Python網(wǎng)絡(luò)爬蟲框架scrapy,爬蟲框架是實現(xiàn)爬蟲功能的一個軟件結(jié)構(gòu)和功能組件的集合,需要的朋友可以參考下
scrapy爬蟲框架介紹
scrapy不是一個簡單的函數(shù)功能庫，而是一個爬蟲框架
爬蟲框架：
- 爬蟲框架是實現(xiàn)爬蟲功能的一個軟件結(jié)構(gòu)和功能組件的集合。
- 爬蟲框架是一個半成品，能夠幫助用戶實現(xiàn)專業(yè)網(wǎng)絡(luò)爬蟲。
scrapy爬蟲框架結(jié)構(gòu)
“5+2”結(jié)構(gòu)：
- ENGINE ：已有的，核心，控制所有模塊之間的數(shù)據(jù)流，根據(jù)條件觸發(fā)事件
- SCHEDULER：已有的，對所有的爬蟲請求進(jìn)行調(diào)度管理
- ITEM PIPELINES ：框架出口，用戶編寫，以流水線方式處理Spider產(chǎn)生的爬取項，由一組操作順序組成，類似流水線，每個操作是一個item pipline類型，可能操作包括：清理，檢驗和查重爬取項中的HTML數(shù)據(jù)，將數(shù)據(jù)存儲到數(shù)據(jù)庫
- SPIDERS ：框架入口，用戶編寫，解析downloader返回的響應(yīng)，產(chǎn)生爬取項，以及額外的爬取請求
- DOWNLOADER ：已有的，根據(jù)請求下載網(wǎng)頁
- 2個MIDDLEWARE：Download Middleware：實施Engine，Scheduler和Downloader之間用戶可配置的控制，即用戶可以修改、丟棄、新增請求或響應(yīng)。Spider Middleware，對spider的請求和爬取項的再處理。修改、丟棄、新增請求或爬取項。
requests庫和scrapy庫比較
相同點(diǎn)：兩者都可以進(jìn)行頁面請求和爬取，Python爬蟲的兩個重要技術(shù)路線。 兩者可用性好，文檔豐富，入門簡單。 兩者都沒有處理js、提交表單、應(yīng)對驗證碼等功能（可擴(kuò)展）
不同點(diǎn)：
| requests | scrapy |
| 頁面級爬蟲 | 網(wǎng)站級爬蟲 |
| 功能庫 | 框架 |
| 并發(fā)性考慮不足，性能較差 | 并發(fā)性好，性能較高 |
| 重點(diǎn)在于頁面下載 | 重點(diǎn)在于爬蟲結(jié)構(gòu) |
| 定制靈活 | 一般定制靈活，深度定制困難 |
| 上手十分簡單 | 入門稍難 |
scrapy的常用命令
| requests | scrapy |
| 頁面級爬蟲 | 網(wǎng)站級爬蟲 |
| 功能庫 | 框架 |
| 并發(fā)性考慮不足，性能較差 | 并發(fā)性好，性能較高 |
| 重點(diǎn)在于頁面下載 | 重點(diǎn)在于爬蟲結(jié)構(gòu) |
| 定制靈活 | 一般定制靈活，深度定制困難 |
| 上手十分簡單 | 入門稍難 |
到此這篇關(guān)于關(guān)于Python網(wǎng)絡(luò)爬蟲框架scrapy的文章就介紹到這了,更多相關(guān)Python爬蟲框架scrapy內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了使用Python進(jìn)行AES加密和解密的示例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
python使用requests+excel進(jìn)行接口自動化測試的實現(xiàn)
在當(dāng)今的互聯(lián)網(wǎng)時代中,接口自動化測試越來越成為軟件測試的重要組成部分,本文就來介紹了python使用requests+excel進(jìn)行接口自動化測試的實現(xiàn),感興趣的可以了解一下2023-11-11
python 實現(xiàn)在shell窗口中編寫print不向屏幕輸出
這篇文章主要介紹了python 實現(xiàn)在shell窗口中編寫print不向屏幕輸出的代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要介紹了FFT快速傅里葉變換的python實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-10-10
Python處理PPT文件的實用知識點(diǎn)總結(jié)
python是一門很強(qiáng)大的語言,因為有著豐富的第三方庫,所以可以說Python是無所不能的,下面這篇文章主要給大家介紹了關(guān)于用Python提取PPT中圖片的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)微信小程序用戶登錄、模板推送，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-08-08
Python解析命令行讀取參數(shù)--argparse模塊使用方法
這篇文章主要介紹了Python解析命令行讀取參數(shù)--argparse模塊使用方法,需要的朋友可以參考下2018-01-01
基于Python和MoviePy實現(xiàn)照片管理和視頻合成工具
在這篇博客中,我們將詳細(xì)剖析一個基于 Python 的圖形界面應(yīng)用程序,該程序使用 wxPython 構(gòu)建用戶界面,并結(jié)合 MoviePy、Pillow 和 OpenCV 等庫實現(xiàn)照片管理和視頻合成功能,通過對代碼的逐部分分析,需要的朋友可以參考下2025-04-04
caffe的python接口生成solver文件詳解學(xué)習(xí)
這篇文章主要為大家介紹了caffe的python接口生成solver文件詳解學(xué)習(xí)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
本節(jié)主要介紹了python如何處理文本文件并生成指定格式的文件,需要的朋友可以參考下2014-07-07