腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

Scrapy Web爬蟲(chóng)框架 v2.13.2

爬蟲(chóng)框架

投訴報(bào)錯(cuò)

源碼大?。?span>1.23MB
源碼語(yǔ)言：英文軟件
源碼類型：國(guó)外軟件
源碼授權(quán)：開(kāi)源軟件
源碼類別：其它源碼
應(yīng)用平臺(tái)：python
更新時(shí)間：2025-06-15
網(wǎng)友評(píng)分：

360通過(guò) 騰訊通過(guò) 金山通過(guò)

1.23MB

詳情介紹

Scrapy 是一套基于基于Twisted的異步處理框架，純python實(shí)現(xiàn)的爬蟲(chóng)框架，用戶只需要定制開(kāi)發(fā)幾個(gè)模塊就可以輕松的實(shí)現(xiàn)一個(gè)爬蟲(chóng)，用來(lái)抓取網(wǎng)頁(yè)內(nèi)容以及各種圖片，非常之方便。

架構(gòu)

Scrapy Engine(引擎)：負(fù)責(zé)Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號(hào)、數(shù)據(jù)傳遞等。

Scheduler(調(diào)度器)：它負(fù)責(zé)接受引擎發(fā)送過(guò)來(lái)的Request請(qǐng)求，并按照一定的方式進(jìn)行整理排列，入隊(duì)，當(dāng)引擎需要時(shí)，交還給引擎。

Downloader（下載器）：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請(qǐng)求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來(lái)處理。

Spider（爬蟲(chóng)）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)。

Item Pipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、過(guò)濾、存儲(chǔ)等）的地方。

Downloader Middlewares（下載中間件）：一個(gè)可以自定義擴(kuò)展下載功能的組件。

Spider Middlewares（Spider中間件）：一個(gè)可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件。

Scrapy 爬蟲(chóng)框架

下載地址

下載錯(cuò)誤？【投訴報(bào)錯(cuò)】