腳本之家服務器常用軟件

快捷導航

scrapy頭部修改的方法詳解

更新時間：2020年12月06日 10:03:59 作者：周少欽

這篇文章主要給大家介紹了關(guān)于scrapy頭部修改的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

被Scrapy自動添加的頭部

在沒有任何配置的情況下，scrapy會對請求默認加上一些頭部信息

Scrapy會通過配置文件中的USER_AGENT配置，自動為頭部添加User-Agent，這條配置會被任何包含User-Agent的配置覆蓋

當請求經(jīng)過下載器后，會被自動添加頭部Accept-Encoding: gzip,deflate, 會被任意包含Accept-Encoding的頭部配置覆蓋

配置settings.py文件中默認的頭部

#DEFAULT_REQUEST_HEADERS = {
# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
# 'Accept-Language': 'en'
#}

當這個配置屬于注釋狀態(tài)時，頭部被設(shè)置為Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8與
Accept-Language: en，可以通過取消注釋修改或增刪其中的內(nèi)容

優(yōu)先級

可以在爬蟲中通過custom_settings設(shè)置配置僅在當前爬蟲生效

class XXXSpider(scrapy.Spider):
 ...
 custom_settings = {
  DEFAULT_REQUEST_HEADERS = {...}
	}
 ....

在Request中設(shè)置頭部

當給引擎返回Request時，可以為他配置頭部

...
def parse(self):
  headers = {
    ...
  }
  
  yield scrapy.Request(url, headers=headers)

優(yōu)先級

在中間件中配置

當Request請求通過下載中間件發(fā)往下載器時，可以通過下載中間件配置頭部

class XXXDownloaderMiddleware
  def process_request(self, request, spider):
	  request.headers["key"] = value
    return None

還需要在配置文件中啟用下載中間價

DOWNLOADER_MIDDLEWARES = {
  'project.middlewares.XXXDownloaderMiddleware': 543,
}

優(yōu)先級

referer中間件

當存在多次請求時，referer中間件會自動幫Request的頭部中的referer加上上一次請求的url

優(yōu)先級

關(guān)閉referer中間件

在配置文件中添加REFERER_ENABLED=False即可關(guān)閉

優(yōu)先級分析

Scrapy自動添加的User-Agent與Accept-Encoding < 配置文件中的默認配置DEFAULT_REQUEST_HEADERS < Request中修改的header < 中間件中添加的header < referer中間件添加的referer

此篇文章僅表示自己對scrapy的理解，如有錯誤歡迎指正

到此這篇關(guān)于scrapy頭部修改的文章就介紹到這了,更多相關(guān)scrapy頭部修改內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线