快捷導(dǎo)航

在Python中使用代理IP的方法詳解

更新時(shí)間：2023年07月12日 10:11:38 作者：卑微阿文

在網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)中，使用代理IP是非常常見(jiàn)的技巧，Python作為一門(mén)強(qiáng)大的編程語(yǔ)言，也提供了很多方法來(lái)使用代理IP，下面，我將就如何在Python中使用代理IP進(jìn)行詳細(xì)的闡述，并舉例說(shuō)明,需要的朋友可以參考下

1.方法一：使用urllib模塊

Python中最基礎(chǔ)的網(wǎng)絡(luò)請(qǐng)求是使用urllib模塊，我們可以利用它來(lái)使用代理IP。在使用urllib時(shí)，我們需要使用ProxyHandler類來(lái)處理代理信息，代碼如下：

import urllib.request
# 設(shè)置代理IP
proxy_ip = "http://127.0.0.1:8888"
# 構(gòu)造代理處理器對(duì)象
proxy_handler = urllib.request.ProxyHandler({"http": proxy_ip})
# 構(gòu)造一個(gè)自定義的opener對(duì)象
opener = urllib.request.build_opener(proxy_handler)
# 使用自定義的opener對(duì)象發(fā)起訪問(wèn)請(qǐng)求
response = opener.open("http://www.baidu.com")
# 打印請(qǐng)求結(jié)果
print(response.read().decode("utf-8"))

在以上代碼中，我們使用了proxy_ip來(lái)設(shè)置代理IP，使用ProxyHandler來(lái)構(gòu)造代理處理器對(duì)象，使用build_opener來(lái)構(gòu)造一個(gè)自定義的opener對(duì)象，并使用opener對(duì)象來(lái)發(fā)起請(qǐng)求。如果需要設(shè)置HTTPS代理IP，只需要將"http"改為"https"即可。

2.方法二：使用requests模塊

在Python中最常用的網(wǎng)絡(luò)請(qǐng)求模塊是requests，因?yàn)樗浅Ｒ子煤头奖?。我們也可以利用它?lái)使用代理IP，代碼如下：

import requests
# 設(shè)置代理IP
proxy_ip = "http://127.0.0.1:8888"
# 設(shè)置代理信息
proxies = {"http": proxy_ip}
# 發(fā)起請(qǐng)求
response = requests.get("http://www.baidu.com", proxies=proxies)
# 打印請(qǐng)求結(jié)果
print(response.text)

在以上代碼中，我們同樣使用了proxy_ip來(lái)設(shè)置代理IP，使用proxies來(lái)設(shè)置代理信息，并使用requests.get方法來(lái)發(fā)起請(qǐng)求。如果需要設(shè)置HTTPS代理IP，只需要將"http"改為"https"即可。

3.方法三：使用selenium模塊

在某些情況下，我們需要使用selenium來(lái)模擬瀏覽器操作。在這種情況下，我們同樣可以使用代理IP。代碼如下：

from selenium import webdriver
# 設(shè)置代理IP
proxy_ip = "127.0.0.1:8888"
# webdriver設(shè)置代理信息
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server=http://" + proxy_ip)
driver = webdriver.Chrome(chrome_options=chrome_options)
# 發(fā)起請(qǐng)求
driver.get("http://www.baidu.com")
# 打印請(qǐng)求結(jié)果
print(driver.page_source)

在以上代碼中，我們使用了proxy_ip來(lái)設(shè)置代理IP，使用add_argument方法來(lái)設(shè)置代理信息，并使用webdriver.Chrome來(lái)創(chuàng)建一個(gè)瀏覽器對(duì)象。如果需要設(shè)置HTTPS代理IP，只需要將"http"改為"https"即可。

4.方法四：使用Scrapy框架

在實(shí)際爬蟲(chóng)開(kāi)發(fā)中，我們通常使用Scrapy框架來(lái)進(jìn)行快速開(kāi)發(fā)。Scrapy框架自帶了代理IP設(shè)置功能，我們只需要在settings.py文件中添加如下配置即可：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 543,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'myproject.middlewares.RandomUserAgentMiddleware': 400,
    'myproject.middlewares.RandomProxyMiddleware': 700,
}

以上代碼中，我們使用RandomProxyMiddleware來(lái)設(shè)置代理IP。在middlewares.py文件中，我們需要自定義RandomProxyMiddleware類，代碼如下：

import random
import requests
class RandomProxyMiddleware(object):
    def __init__(self,):
        self.proxies = []
    def get_random_proxy(self):
        if not self.proxies:
            res = requests.get("http://127.0.0.1:8000/get_all/")
            self.proxies = [proxy for proxy in res.text.split("\n") if proxy]
        return random.choice(self.proxies)
    def process_request(self, request, spider):
        proxy = self.get_random_proxy()
        request.meta['proxy'] = "http://{}".format(proxy)

在以上代碼中，我們使用了一個(gè)名為get_random_proxy的方法來(lái)獲取代理IP，使用了request.meta['proxy']來(lái)設(shè)置代理IP。如果需要設(shè)置HTTPS代理IP，只需要將"http"改為"https"即可。