Python headers請(qǐng)求頭如何實(shí)現(xiàn)快速添加
1、為什么要設(shè)置headers?
在請(qǐng)求網(wǎng)頁(yè)爬取的時(shí)候，輸出的text信息中會(huì)出現(xiàn)抱歉，無(wú)法訪問(wèn)等字眼，這就是禁止爬取，需要通過(guò)反爬機(jī)制去解決這個(gè)問(wèn)題。
headers是解決requests請(qǐng)求反爬的方法之一，相當(dāng)于我們進(jìn)去這個(gè)網(wǎng)頁(yè)的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。
對(duì)反爬蟲(chóng)網(wǎng)頁(yè)，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問(wèn)網(wǎng)站 。
2、 headers在哪里找？
谷歌或者火狐瀏覽器，在網(wǎng)頁(yè)面上點(diǎn)擊：右鍵–>檢查–>剩余按照?qǐng)D中顯示操作，需要按Fn+F5刷新出網(wǎng)頁(yè)來(lái)
有的瀏覽器是點(diǎn)擊：右鍵->查看元素，刷新
Python爬蟲(chóng)中Requests設(shè)置請(qǐng)求頭Headers的方法
注意：headers中有很多內(nèi)容，主要常用的就是user-agent 和 host，他們是以鍵對(duì)的形式展現(xiàn)出來(lái)，如果user-agent 以字典鍵對(duì)形式作為headers的內(nèi)容，就可以反爬成功，就不需要其他鍵對(duì)；否則，需要加入headers下的更多鍵對(duì)形式。
代碼如下
import re
# 下方引號(hào)內(nèi)添加替換掉請(qǐng)求頭內(nèi)容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))
結(jié)果
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
零基礎(chǔ)寫python爬蟲(chóng)之HTTP異常處理
我們?cè)谑褂门老x(chóng)來(lái)抓取網(wǎng)頁(yè)內(nèi)容的時(shí)候，HTTP異常是必須要注意的一項(xiàng)，所以本文，我們來(lái)詳細(xì)探尋一下HTTP異常處理的相關(guān)內(nèi)容，通過(guò)一些具體的實(shí)例來(lái)分析一下，非常的簡(jiǎn)單，但是卻很實(shí)用。2014-11-11
python代碼實(shí)現(xiàn)AVL樹(shù)和紅黑樹(shù)
專注于Python數(shù)據(jù)結(jié)構(gòu),想要深入了解AVL樹(shù)和紅黑樹(shù)的讀者們,你們的機(jī)會(huì)來(lái)了！在這篇指南中,我們將帶你探索這兩種神奇樹(shù)結(jié)構(gòu)的奧秘,緊張刺激的實(shí)戰(zhàn)代碼演示,讓你一窺這兩種樹(shù)的獨(dú)特魅力,準(zhǔn)備好了嗎？讓我們一起踏上這場(chǎng)Python樹(shù)結(jié)構(gòu)之旅！2023-12-12
Python中實(shí)現(xiàn)WebSocket的示例詳解
WebSocket 是一種計(jì)算機(jī)通信協(xié)議,它為客戶端和服務(wù)器之間的雙向通信提供了一個(gè)全雙工的通道,本篇文章將詳解 Python 中如何實(shí)現(xiàn) WebSocket,感興趣的可以了解下2025-03-03
計(jì)算機(jī)二級(jí)python學(xué)習(xí)教程（1） 教大家如何學(xué)習(xí)python
這篇文章主要為大家詳細(xì)介紹了計(jì)算機(jī)二級(jí)python學(xué)習(xí)教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-05-05
相信大家在測(cè)試任務(wù)過(guò)程中都或多或少遇到自己處理文本文件的情況,這篇文章主要給大家介紹了關(guān)于python文件處理筆記之文本文件的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-08-08
Python3和pyqt5實(shí)現(xiàn)控件數(shù)據(jù)動(dòng)態(tài)顯示方式
今天小編就為大家分享一篇Python3和pyqt5實(shí)現(xiàn)控件數(shù)據(jù)動(dòng)態(tài)顯示方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
Python使用docx模塊實(shí)現(xiàn)刷題功能代碼
今天小編就為大家分享一篇Python使用docx模塊實(shí)現(xiàn)刷題功能代碼，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
使用Python構(gòu)建Markdown轉(zhuǎn)Word文檔轉(zhuǎn)換器
在當(dāng)今的文檔處理中,Markdown因其簡(jiǎn)潔的語(yǔ)法和易讀性而廣受歡迎,而Microsoft Word（DOCX格式）則因其廣泛的兼容性和專業(yè)的排版效果成為商業(yè)文檔的標(biāo)準(zhǔn),本文將介紹如何使用Python構(gòu)建一個(gè)帶有圖形界面的Markdown轉(zhuǎn)Word文檔轉(zhuǎn)換器,需要的朋友可以參考下2025-02-02
這篇文章主要介紹了Python 多線程之threading 模塊的使用，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
Python使用Matplotlib繪制散點(diǎn)趨勢(shì)線的代碼詳解
Matplotlib是一個(gè)用于數(shù)據(jù)可視化的強(qiáng)大Python庫(kù),其基本功能之一是創(chuàng)建帶有趨勢(shì)線的散點(diǎn)圖,散點(diǎn)圖對(duì)于可視化變量之間的關(guān)系非常有用,本文將指導(dǎo)您使用Matplotlib繪制散點(diǎn)趨勢(shì)線的過(guò)程,涵蓋線性和多項(xiàng)式趨勢(shì)線,需要的朋友可以參考下2025-01-01