快捷導(dǎo)航

對python使用http、https代理的實(shí)例講解

更新時間：2018年05月07日 09:45:43 作者：wanghong5211

今天小編就為大家分享一篇對python使用http、https代理的實(shí)例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

在國內(nèi)利用Python從Internet上爬取數(shù)據(jù)時，有些網(wǎng)站或API接口被限速或屏蔽，這時使用代理可以加速爬取過程，減少請求失敗，Python程序使用代理的方法主要有以下幾種：

（1）如果是在代碼中使用一些網(wǎng)絡(luò)庫或爬蟲框架進(jìn)行數(shù)據(jù)爬取，一般這種框架都會支持設(shè)置代理，例如：

<span style="font-size:14px;">import urllib.request as urlreq 
# 設(shè)置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 將代理安裝到全局環(huán)境，這樣所有請求都會自動使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

（2）如果使用的庫沒有提供設(shè)置代理的接口，但是底層使用了urllib、requests等庫，可以嘗試設(shè)置HTTP_PROXY 和HTTPS_PROXY環(huán)境變量，常用的網(wǎng)絡(luò)庫會自動識別這些環(huán)境變量，使用變量設(shè)置的代理發(fā)起請求，設(shè)置如下：

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

（3）如果上述兩種方法都沒有用，那么還可以使用一些可以監(jiān)聽、攔截和修改網(wǎng)絡(luò)包的工具和庫如（Fiddler、mitmproxy）來攔截http請求包并修改地址，達(dá)到使用代理的效果。

以上這篇對python使用http、https代理的實(shí)例講解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

在python中將list分段并保存為array類型的方法
今天小編就為大家分享一篇在python中將list分段并保存為array類型的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-07-07
詳解Scrapy Redis入門實(shí)戰(zhàn)
這篇文章主要介紹了詳解Scrapy Redis入門實(shí)戰(zhàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11
np.where在多維數(shù)組的應(yīng)用方式
這篇文章主要介紹了np.where在多維數(shù)組的應(yīng)用方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-02-02
Python將多個list合并為1個list的方法
今天小編就為大家分享一篇Python將多個list合并為1個list的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
一個基于flask的web應(yīng)用誕生 flask和mysql相連（4）
一個基于flask的web應(yīng)用誕生第四篇，這篇文章主要介紹了如何讓flask和mysql進(jìn)行互聯(lián)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2017-04-04
Python掃描IP段查看指定端口是否開放的方法
這篇文章主要介紹了Python掃描IP段查看指定端口是否開放的方法,涉及Python使用socket模塊實(shí)現(xiàn)端口掃描功能的相關(guān)技巧,需要的朋友可以參考下
2015-06-06
詳解Python中__str__和__repr__方法的區(qū)別
這篇文章主要介紹了__str__和__repr__方法的區(qū)別 ,__str__和__repr__是基本的內(nèi)置方法,使用時的區(qū)別也是Python學(xué)習(xí)當(dāng)中的基礎(chǔ),需要的朋友可以參考下
2015-04-04
Python使用SciPy庫的插值方法及示例詳解
SciPy是一個基于NumPy構(gòu)建的Python模塊,它集成了多種數(shù)學(xué)算法和函數(shù),這篇文章主要為大家詳細(xì)介紹了如何使用SciPy庫實(shí)現(xiàn)插值,需要的可以了解下
2024-03-03
基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的古詩生成器
這篇文章主要為大家詳細(xì)介紹了基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的古詩生成器，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2018-03-03
Python獲取當(dāng)前時間日期的實(shí)現(xiàn)示例
本文主要介紹了Python獲取當(dāng)前時間日期，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-03-03