Python開發(fā)中爬蟲使用代理proxy抓取網(wǎng)頁的方法示例
本文實(shí)例講述了Python開發(fā)中爬蟲使用代理proxy抓取網(wǎng)頁的方法。分享給大家供大家參考，具體如下：
代理類型（proxy）:透明代理 匿名代理 混淆代理和高匿代理. 這里寫一些python爬蟲使用代理的知識(shí), 還有一個(gè)代理池的類. 方便大家應(yīng)對工作中各種復(fù)雜的抓取問題。
urllib 模塊使用代理
urllib/urllib2使用代理比較麻煩, 需要先構(gòu)建一個(gè)ProxyHandler的類, 隨后將該類用于構(gòu)建網(wǎng)頁打開的opener的類,再在request中安裝該opener.
代理格式是"http://127.0.0.1:80",如果要賬號(hào)密碼是"http://user:password@127.0.0.1:80".
proxy="http://127.0.0.1:80"
# 創(chuàng)建一個(gè)ProxyHandler對象
proxy_support=urllib.request.ProxyHandler({'http':proxy})
# 創(chuàng)建一個(gè)opener對象
opener = urllib.request.build_opener(proxy_support)
# 給request裝載opener
urllib.request.install_opener(opener)
# 打開一個(gè)url
r = urllib.request.urlopen('http://youtube.com',timeout = 120)
requests 模塊 使用代理
requests使用代理要比urllib簡單多了…這里以單次代理為例. 多次的話可以用session一類構(gòu)建.
如果需要使用代理，你可以通過為任意請求方法提供 proxies 參數(shù)來配置單個(gè)請求:
import requests
proxies = {
"http": "http://127.0.0.1:3128",
"https": "http://127.0.0.1:2080",
}
r=requests.get("http://youtube.com", proxies=proxies)
print r.text
你也可以通過環(huán)境變量 HTTP_PROXY 和 HTTPS_PROXY 來配置代理。
export HTTP_PROXY="http://127.0.0.1:3128"
export HTTPS_PROXY="http://127.0.0.1:2080"
python
>>> import requests
>>> r=requests.get("http://youtube.com")
>>> print r.text
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 語法:
proxies = {
"http": "http://user:pass@127.0.0.1:3309/",
}
python的代理使用非常簡單， 最重要的是要找一個(gè)網(wǎng)絡(luò)穩(wěn)定可靠的代理。
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
文章介紹了如何使用Python編寫一個(gè)自助搶單插件,該插件可以幫助用戶監(jiān)控特定網(wǎng)站上的商品信息,并在條件滿足時(shí)自動(dòng)下單,文章涵蓋了從項(xiàng)目概述、技術(shù)架構(gòu)、項(xiàng)目流程到環(huán)境準(zhǔn)備、網(wǎng)絡(luò)請求、數(shù)據(jù)解析、用戶界面設(shè)計(jì)和定時(shí)任務(wù)的詳細(xì)步驟2024-11-11
有一個(gè)壓縮包密碼忘了，寫了一個(gè)小腳本實(shí)現(xiàn)一個(gè)解密的功能,輸入自己常用密碼中的單詞后，腳本將這些密碼組合嘗試解壓壓縮包2014-01-01
利用Python實(shí)現(xiàn)去重聚合Excel數(shù)據(jù)并對比兩份數(shù)據(jù)的差異
在數(shù)據(jù)處理過程中,常常需要將多個(gè)數(shù)據(jù)表進(jìn)行合并,并進(jìn)行比對,以便找出數(shù)據(jù)的差異和共同之處,本文將介紹如何使用 Pandas 庫對兩個(gè) Excel 數(shù)據(jù)表進(jìn)行合并與比對,需要的可以參考下2023-11-11
這篇文章主要介紹了用Python進(jìn)行一些簡單的自然語言處理的教程,主要用到了pandas和collections庫，需要的朋友可以參考下2015-03-03
之前已經(jīng)爬取過網(wǎng)站上的圖片,貌似很簡單可是他喵的都像馬賽克一樣,怎么能用做壁紙呢通過多重審查發(fā)現(xiàn),原圖地址藏在更深的地方 所以,來爬一下原圖吧,需要的朋友可以參考下2021-06-06
python神經(jīng)網(wǎng)絡(luò)MobileNetV3?small模型的復(fù)現(xiàn)詳解
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)MobileNetV3?small模型的復(fù)現(xiàn)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
Python2和3字符編碼的區(qū)別知識(shí)點(diǎn)整理
在本篇文章中小編給各位分享的是關(guān)于Python2和3字符編碼的區(qū)別知識(shí)點(diǎn)，有需要的朋友們可以學(xué)習(xí)下。2019-08-08
python輸出數(shù)學(xué)符號(hào)實(shí)例
這篇文章主要介紹了python輸出數(shù)學(xué)符號(hào)實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
今天小編就為大家分享一篇pytorch多進(jìn)程加速及代碼優(yōu)化方法。具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
下面小編就為大家?guī)硪黄狿ython中幾種導(dǎo)入模塊的方式總結(jié)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-04-04