python爬蟲scrapy框架的梨視頻案例解析

更新時間：2021年02月20日 09:51:57 作者：小王子愛上玫瑰

這篇文章主要介紹了python爬蟲scrapy框架的梨視頻案例解析,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下

1.爬蟲文件

這里我們可以仿照爬蟲文件中的parse方法，寫一個新的parse方法，可以將新的url的響應對象傳給這個新的parse方法
如果需要在不同的parse方法中使用同一個item對象，可以使用meta參數(shù)字典，將item傳給callback回調函數(shù)
爬蟲文件中的parse需要yield的Request請求，而item則在新的parse方法中使用yield item傳給下一個parse方法或管道文件

import scrapy

# 從items.py文件中導入BossprojectItem類
from bossProject.items import BossprojectItem

class BossSpider(scrapy.Spider):
 name = 'boss'
 # allowed_domains = ['www.xxx.com']
 start_urls = ['https://www.pearvideo.com/category_5']

 # 回調函數(shù)接受響應對象，并且接受傳遞過來的meata參數(shù)
 def content_parse(self,response):
 # meta參數(shù)包含在response響應對象中，調用meta，然后根據(jù)鍵值取出對應的值:item
 item = response.meta['item']

 # 解析視頻鏈接中的對視頻的描述
 des = response.xpath('//div[@class="summary"]/text()').extract()
 des = "".join(des)
 item['des'] = des

 yield item 

 # 解析首頁視頻的標題以及視頻的鏈接
 def parse(self, response):
 li_list = response.xpath('//div[@id="listvideoList"]/ul/li')
 for li in li_list:
  href = li.xpath('./div/a/@href').extract()
   + "".join(href)

  title = li.xpath('./div[1]/a/div[2]/text()').extract()
  title = "".join(title)

  item = BossprojectItem()
  item["title"] = title

  #手動發(fā)送請求，并將響應對象傳給回調函數(shù)
  #請求傳參:meta={}，可以將meta字典傳遞給請求對應的回調函數(shù)
  yield scrapy.Request(href,callback=self.content_parse,meta={'item':item})

2.items.py

要將BossprojectItem類導入爬蟲文件中才能夠創(chuàng)建item對象

import scrapy
class BossprojectItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
 # 定義了item屬性
 title = scrapy.Field()
 des = scrapy.Field()

3.pipelines.py

open_spider(self,spider)和close_spider(self,spider)重寫這兩個父類方法，且這兩個方法都只執(zhí)行一次在process_item方法中最好保留return item，因為如果存在多個管道類，return item會自動將item對象傳給優(yōu)先級低于自己的管道類

from itemadapter import ItemAdapter
class BossprojectPipeline:

 def __init__(self):
 self.fp = None

 # 重寫父類方法，只調用一次
 def open_spider(self,spider):
 print("爬蟲開始")
 self.fp = open('./lishipin.txt','w')

 # 接受爬蟲文件中yield傳遞來的item對象，將item中的內容持久化存儲
 def process_item(self, item, spider):
 self.fp.write(item['title'] + '\n\t' + item['des'] + '\n')

 # 如果有多個管道類，會將item傳遞給下一個管道類
 # 管道類的優(yōu)先級取決于settings.py中的ITEM_PIPELINES屬性中對應的值
  ## ITEM_PIPELINES = {'bossProject.pipelines.BossprojectPipeline': 300,} 鍵值中的值越小優(yōu)先級越高
 return item

 # 重寫父類方法，只調用一次
 def close_spider(self,spider): 
 self.fp.close()
 print("爬蟲結束")