最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python爬取數(shù)據(jù)中的headers和代理IP問題分析

 更新時(shí)間:2023年06月26日 10:16:16   作者:小白學(xué)大數(shù)據(jù)  
這篇文章主要為大家介紹了python爬取數(shù)據(jù)中的headers和代理IP問題分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

爬蟲主要爬取方式之一 聚焦爬蟲

也就是說,爬取某一個(gè)特定網(wǎng)站或者具有特定內(nèi)容的網(wǎng)站,而一般比較大的有價(jià)值的網(wǎng)站都會(huì)有反爬策略,其中常見的反爬策略是網(wǎng)站根據(jù)來訪者的身份判定是否予以放行。

對(duì)來訪者身份的判定一般基于headers里的user-Agent值,每一種瀏覽器訪問網(wǎng)站的user-Agent都是不同的,因此,爬蟲需要偽裝成瀏覽器,并且在爬取的過程中自動(dòng)切換偽裝,從而防止網(wǎng)站的封殺。

通過一些爬蟲庫調(diào)用隨機(jī)返回一個(gè)headers(User-Agent)

import requests
ua = UserAgent()        # 實(shí)例化,需要聯(lián)網(wǎng)但是網(wǎng)站不太穩(wěn)定-可能耗時(shí)會(huì)長一些
print(ua.random)  # 隨機(jī)產(chǎn)生
headers = {
    'User-Agent': ua.random    # 偽裝
    }
# 請(qǐng)求
if __name__ == '__main__':
    url = 'https://www.baidu.com/'
    response = requests.get(url, headers=headers ,proxies={"http":"117.136.27.43"})
    print(response.status_code)
還有就是訪問IP的判別,在進(jìn)行Python爬蟲程序開發(fā)時(shí),如果頻繁地訪問同一網(wǎng)站的情況下,網(wǎng)站服務(wù)器可能會(huì)把該IP地址列入黑名單,限制其訪問權(quán)限。此時(shí),使用IP代理技術(shù)可以有效避免這種限制,保證爬蟲程序的穩(wěn)定性。使用IP代理技術(shù)還有其他的優(yōu)點(diǎn),比如增強(qiáng)隱私保護(hù)、提高數(shù)據(jù)訪問速度、降低目標(biāo)網(wǎng)站的壓力等等。總之,IP代理技術(shù)已經(jīng)成為了Python爬蟲程序中不可或缺的一部分。
Python提供了豐富的第三方庫,可以幫助我們實(shí)現(xiàn)IP代理功能。其中最常用的是requests庫和urllib庫。以下是使用requests庫實(shí)現(xiàn)IP代理的示例代碼:
```     #! -*- encoding:utf-8 -*-
    import requests
    import random
    # 要訪問的目標(biāo)頁面
    targetUrl = "http://httpbin.org/ip"
    # 要訪問的目標(biāo)HTTPS頁面
    # targetUrl = "https://httpbin.org/ip"
    # 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"
    # 代理驗(yàn)證信息
    proxyUser = "username"
    proxyPass = "password"
    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }
    # 設(shè)置 http和https訪問都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }
    #  設(shè)置IP切換頭
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}
    resp = requests.get(targetUrl, proxies=proxies, headers=headers)
    print resp.status_code
    print resp.text

以上就是python爬取數(shù)據(jù)中的headers和代理IP問題解析的詳細(xì)內(nèi)容,更多關(guān)于python爬取數(shù)據(jù)headers代理IP的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 淺析Python如何在Excel中應(yīng)用數(shù)據(jù)透視表

    淺析Python如何在Excel中應(yīng)用數(shù)據(jù)透視表

    數(shù)據(jù)透視表是?Excel?最強(qiáng)大的數(shù)據(jù)分析工具之一,能快速實(shí)現(xiàn)海量數(shù)據(jù)的動(dòng)態(tài)匯總、多維分析與交互式展示,?下面我們就來看看如何使用?Python?在?Excel?中應(yīng)用數(shù)據(jù)透視表
    2025-07-07
  • python多維數(shù)組切片方法

    python多維數(shù)組切片方法

    下面小編就為大家分享一篇python多維數(shù)組切片方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-04-04
  • Python中生成隨機(jī)整數(shù)的三種方法

    Python中生成隨機(jī)整數(shù)的三種方法

    本文介紹了如何在Python中生成一到一百隨機(jī)整數(shù)的多種方法,包括random庫,NumPy庫和random.sample函數(shù)這三種方法,具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-02-02
  • tensorflow實(shí)現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡(luò)

    tensorflow實(shí)現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡(luò)

    這篇文章主要為大家詳細(xì)介紹了tensorflow實(shí)現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡(luò),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-05-05
  • Python 使用類寫裝飾器的小技巧

    Python 使用類寫裝飾器的小技巧

    裝飾器是一個(gè)返回函數(shù)的函數(shù)。寫一個(gè)裝飾器,除了最常見的在函數(shù)中定義函數(shù)以外,Python還允許使用類來定義一個(gè)裝飾器。這篇文章給大家分享Python 使用類寫裝飾器的小技巧,一起看看吧
    2018-09-09
  • Python numpy生成矩陣、串聯(lián)矩陣代碼分享

    Python numpy生成矩陣、串聯(lián)矩陣代碼分享

    這篇文章主要介紹了Python numpy生成矩陣、串聯(lián)矩陣代碼分享,具有一定參考價(jià)值,需要的朋友可以了解下。
    2017-12-12
  • Pyecharts V1和V0.5之間相互切換的方法

    Pyecharts V1和V0.5之間相互切換的方法

    這篇文章主要介紹了Pyecharts V1和V0.5之間相互切換的方法,Pyecharts這個(gè)可視化庫火爆,官方如是說:Echarts 是一個(gè)由百度開源的數(shù)據(jù)可視化,憑借著良好的交互性,精巧的圖表設(shè)計(jì),得到了眾多開發(fā)者的認(rèn)可,下面和小編一起進(jìn)入文章了解具體內(nèi)容吧
    2022-02-02
  • pytorch如何自定義forward和backward函數(shù)

    pytorch如何自定義forward和backward函數(shù)

    PyTorch自動(dòng)求導(dǎo)功能強(qiáng)大,但在特定情況下需要用戶自行定義backward函數(shù),通過實(shí)例解釋了保存變量、計(jì)算梯度、鏈?zhǔn)椒▌t等核心概念,并展示了如何通過自定義函數(shù)集成到網(wǎng)絡(luò)中以及如何正確返回梯度,此外,還討論了多輸出情況下的梯度傳遞
    2024-10-10
  • Python中的shape[0]、shape[1]和shape[-1]使用方法

    Python中的shape[0]、shape[1]和shape[-1]使用方法

    shape函數(shù)是Numpy中的函數(shù),它的功能是讀取矩陣的長度,比如shape[0]就是讀取矩陣第一維度的長度,這篇文章主要介紹了Python中的shape[0]、shape[1]和shape[-1]使用方法,需要的朋友可以參考下
    2023-07-07
  • Python實(shí)現(xiàn)多線程抓取妹子圖

    Python實(shí)現(xiàn)多線程抓取妹子圖

    本文給大家匯總了3款由Python制作的多線程批量抓取美圖的代碼,主要是將獲取圖片鏈接任務(wù)和下載圖片任務(wù)用線程分開來處理了,而且這次的爬蟲不僅僅可以爬第一頁的圖片鏈接的,有類似需求的小伙伴可以參考下。
    2015-08-08

最新評(píng)論

晴隆县| 六枝特区| 平山县| 浦城县| 屏边| 南昌市| 德钦县| 新和县| 霍林郭勒市| 法库县| 华安县| 科技| 东乌珠穆沁旗| 天台县| 南和县| 博客| 京山县| 南阳市| 芷江| 岫岩| 乐安县| 开远市| 海南省| 南宁市| 海阳市| 略阳县| 四子王旗| 宾阳县| 景谷| 河南省| 突泉县| 京山县| 雷波县| 玛沁县| 蒲江县| 沙田区| 襄垣县| 桐城市| 柘荣县| 沁阳市| 罗定市|