利用Python爬取可用的代理IP
更新時(shí)間：2016年08月18日 15:47:18 投稿：daisy
我們平時(shí)在用Python爬蟲時(shí)，有時(shí)會(huì)要用到IP代理。網(wǎng)上有很多的免費(fèi)代理IP網(wǎng)站,但不是所有的ip都能用，所以這篇文章教大家如何爬取可用的代理IP。
前言
就以最近發(fā)現(xiàn)的一個(gè)免費(fèi)代理IP網(wǎng)站為例：http://www.xicidaili.com/nn/。在使用的時(shí)候發(fā)現(xiàn)很多IP都用不了。
所以用Python寫了個(gè)腳本，該腳本可以把能用的代理IP檢測(cè)出來。
腳本如下：
#encoding=utf8
import urllib2
from bs4 import BeautifulSoup
import urllib
import socket
User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
header = {}
header['User-Agent'] = User_Agent
'''
獲取所有代理IP地址
'''
def getProxyIp():
proxy = []
for i in range(1,2):
try:
url = 'http://www.xicidaili.com/nn/'+str(i)
req = urllib2.Request(url,headers=header)
res = urllib2.urlopen(req).read()
soup = BeautifulSoup(res)
ips = soup.findAll('tr')
for x in range(1,len(ips)):
ip = ips[x]
tds = ip.findAll("td")
ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]
proxy.append(ip_temp)
except:
continue
return proxy
'''
驗(yàn)證獲得的代理IP地址是否可用
'''
def validateIp(proxy):
url = "http://ip.chinaz.com/getip.aspx"
f = open("E:\ip.txt","w")
socket.setdefaulttimeout(3)
for i in range(0,len(proxy)):
try:
ip = proxy[i].strip().split("\t")
proxy_host = "http://"+ip[0]+":"+ip[1]
proxy_temp = {"http":proxy_host}
res = urllib.urlopen(url,proxies=proxy_temp).read()
f.write(proxy[i]+'\n')
print proxy[i]
except Exception,e:
continue
f.close()
if __name__ == '__main__':
proxy = getProxyIp()
validateIp(proxy)
運(yùn)行成功后，打開E盤下的文件，可以看到如下可用的代理IP地址和端口：
總結(jié)
這只是爬取的第一頁(yè)的IP地址，如有需要，可以多爬取幾頁(yè)。同時(shí)，該網(wǎng)站是時(shí)時(shí)更新的，建議爬取時(shí)只爬取前幾頁(yè)的即可。以上就是本文的全部?jī)?nèi)容，希望對(duì)大家學(xué)習(xí)使用Python能有所幫助。
相關(guān)文章
這篇文章主要介紹了python如何發(fā)送帶有附件、正文為HTML的郵件，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-02-02
基于OpenCV和Gradio實(shí)現(xiàn)簡(jiǎn)單的人臉識(shí)別詳解
這篇文章主要為大家詳細(xì)介紹了如何基于OpenCV和Gradio實(shí)現(xiàn)簡(jiǎn)單的人臉識(shí)別功能，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2023-04-04
QChart是一個(gè)QGraphicScene中可以顯示的QGraphicsWidget。本文將利用QtChart實(shí)現(xiàn)繪制散點(diǎn)圖，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-12-12
今天小編就為大家分享一篇python 使用裝飾器并記錄log的示例代碼，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-07-07
這篇文章主要介紹了Python3 讀、寫Excel文件的操作方法,需要的朋友可以參考下2018-10-10
小白入門篇使用Python搭建點(diǎn)擊率預(yù)估模型
本文將從零開始，僅僅利用基礎(chǔ)的numpy庫(kù)，使用Python實(shí)現(xiàn)一個(gè)最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)(或者說是簡(jiǎn)易的LR，因?yàn)長(zhǎng)R就是一個(gè)單層的神經(jīng)網(wǎng)絡(luò))，解決一個(gè)點(diǎn)擊率預(yù)估的問題。感興趣的朋友跟隨小白一起看看吧2018-10-10
這篇文章主要介紹了Python詞云展示庫(kù)wordcloud配置詳解,詞云就是將詞語通過圖形可視化的方式，直觀和藝術(shù)的展示出來,詞云在我們的生活中經(jīng)常能夠看到，無論是中文的詞云還是英文的詞云,需要的朋友可以參考下2023-07-07
Python shutil模塊實(shí)現(xiàn)文件的裁剪、壓縮與解壓縮的方法
這篇文章主要介紹了Python shutil模塊實(shí)現(xiàn)文件的裁剪、壓縮與解壓縮的方法,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-01-01
日常在網(wǎng)站使用過程中經(jīng)常遇到圖形驗(yàn)證，這篇文章主要介紹了python 生成圖形驗(yàn)證碼的方法示例，非常具有實(shí)用價(jià)值，需要的朋友可以參考下2018-11-11
詳解Python數(shù)據(jù)結(jié)構(gòu)與算法中的順序表
線性表在計(jì)算機(jī)中的表示可以采用多種方法，采用不同存儲(chǔ)方法的線性表也有著不同的名稱和特點(diǎn)。線性表有兩種基本的存儲(chǔ)結(jié)構(gòu)：順序存儲(chǔ)結(jié)構(gòu)和鏈?zhǔn)酱鎯?chǔ)結(jié)構(gòu)。本文將介紹順序存儲(chǔ)結(jié)構(gòu)的特點(diǎn)以及各種基本運(yùn)算的實(shí)現(xiàn)。需要的可以參考一下2022-01-01