python爬蟲簡單的添加代理進行訪問的實現代碼
更新時間：2019年04月04日 11:50:19 作者：學好Python吧
本文通過實例代碼給大家介紹了python爬蟲簡單的添加代理進行訪問,代碼簡單易懂，非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下
在使用python對網頁進行多次快速爬取的時候,訪問次數過于頻繁,服務器不會考慮User-Agent的信息,會直接把你視為爬蟲,從而過濾掉,拒絕你的訪問,在這種時候就需要設置代理,我們可以給proxies屬性設置一個代理的IP地址,代碼如下:
import requests
from lxml import etree
url = "https://www.ip.cn"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 OPR/57.0.3098.116", }
pro = {
# 'https': 'https://118.122.92.252:37901', #四川省成都市 電信
'https': 'https://27.17.45.90:43411', #湖北省武漢市 電信
}
try:
response = requests.get(url, headers=headers, proxies=pro)
html_str = response.content.decode()
# print(html_str)
html = etree.HTML(html_str)
message = html.xpath("http://div[@class='well']//p/text()")
ip = html.xpath("http://div[@class='well']//p/code/text()")
eng = html.xpath("http://div[@class='well']/p/text()")
print(message[0]+ip[0])
print(message[1]+ip[1])
print(eng[2])
except requests.exceptions.ProxyError as e:
print("當前代理異常")
except:
print("當前請求異常")
在上面的代碼中,調用requests庫,對一個IP地址查詢網頁進行訪問,隨后使用lxml庫的xpath對網頁進行分析提取,返回用戶訪問此網頁時自己的IP地址,如果代理設置成功,則會返回你的信息和IP地址,如下:
如果代理失敗則會返回異常,在代碼中使用了捕獲異常,則會返回設置的提示信息,"當前代理異常",如果不是代理的錯誤則是"當前請求異常"
PS:免費的代理不是很穩(wěn)定,在確認代碼無誤后,如果仍然返回異常,可嘗試更換代理IP...
總結
以上所述是小編給大家介紹的python爬蟲簡單的添加代理進行訪問的實現代碼，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持！
相關文章
pytorch中permute()函數用法補充說明(矩陣維度變化過程)
這篇文章主要給大家介紹了關于pytorch中permute()函數用法補充說明的相關資料,本文詳細說明了permute函數里維度變化的詳細過程,需要的朋友可以參考下2022-04-04
這篇文章主要介紹了解決pycharm修改代碼后第一次運行不生效的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
今天就為大家分享一篇對python打亂數據集中X,y標簽對的方法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了Python Parser的用法,文中有非常詳細的代碼示例,對正在學習python的小伙伴們有很好地幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了python播放音頻的三種方法，每種方法通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了django框架使用方法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
在 Python 中實現定時器功能是一個常見需求,尤其是在需要周期性執(zhí)行任務的場景下,本文給大家介紹了基于 asyncio 和 threading 模塊,可擴展的異步定時器實現,需要的朋友可以參考下2025-04-04
這篇文章主要介紹了Python科學計算庫—Scipy的相關知識，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了django的ORM模型的實現原理，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-03-03
今天小編就為大家分享一篇pyttsx3實現中文文字轉語音的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12