一、Scrapy框架簡介

Scrapy是用純Python實現(xiàn)一個為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，用途非常廣泛。利用框架，用戶只需要定制開發(fā)幾個模塊就可以輕松的實現(xiàn)一個爬蟲，用來抓取網(wǎng)頁內(nèi)容以及各種圖片，非常的方便。它使用Twisted這個異步網(wǎng)絡(luò)庫來處理網(wǎng)絡(luò)通訊，架構(gòu)清晰，并且包含了各種中間件接口，可以靈活的完成各種需求。Scrapy是Python世界里面最強(qiáng)大的爬蟲框架，它比BeautifulSoup更加完善，BeautifulSoup可以說是輪子，而Scrapy則是車子，不需要關(guān)注太多的細(xì)節(jié)。

二、Scrapy原理

1.ScrapyEngine(引擎):負(fù)責(zé)Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號數(shù)據(jù)傳遞等。

2.Scheduler(調(diào)度器):它負(fù)責(zé)接受引擎發(fā)送過來的request請求，并按照定的方式進(jìn)行整理排列，入隊，當(dāng)引擎需要時，交還給引擎。

3.Downloader(下載器):負(fù)責(zé)下載ScrapyEngine發(fā)送的所有requests請求，并將其獲取到的responses交還給ScrapyEngine，由引擎交給Spider來處理。

4.Spider(爬蟲):它負(fù)責(zé)處理所有Responses，從中分析提取數(shù)據(jù)，獲取ltem字段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler。

5.ItemPipeline(管道):它負(fù)責(zé)處理Spider中獲取到的ltem，并進(jìn)行進(jìn)行后期處理，詳細(xì)分析，過濾，存儲等的地方。

6.DownloaderMiddlewares(下載中間件):它是一個可以自定義擴(kuò)展下載功能的組件。

7.SpiderMiddlewares(Spider中間件):它是一個可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件比如進(jìn)入Spider的Responses，和從Spider出去的Requests。

三、創(chuàng)建Scrapy項目

新建項目命令：

scrapy startproject xxx

在開始爬取之前,必須創(chuàng)建一個新的Scrapy項目。進(jìn)入自定義的項目目錄中，運行下列命令:

scrapy startproject xxx

其中，xxx為項目名稱,可以看到將會創(chuàng)建一個xxx文件夾，目錄結(jié)構(gòu)大致如下:

四、創(chuàng)建爬蟲

創(chuàng)建爬蟲的命令：

scrapy genspider 爬蟲名字網(wǎng)站域名

應(yīng)當(dāng)注意的是爬蟲名字不要和項目名字一-樣，網(wǎng)站域名是允許爬蟲采集的域名如，baidu. com，zhihu. com。創(chuàng)建后python文件如下:

五、總結(jié)

Scrapy框架相當(dāng)于一輛造好的車子，只要我們會開，我們就可以利用這輛車子去到任意想去的地方。通常我們使用的request的方法就相當(dāng)于在出發(fā)前再去造一輛車子，這是相當(dāng)麻煩的。學(xué)好Scrapy，對于網(wǎng)上80%的網(wǎng)站我們都可以進(jìn)行爬取。

以上就是簡述python Scrapy框架的詳細(xì)內(nèi)容，更多關(guān)于python Scrapy框架的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論