python使用urllib模塊和pyquery實(shí)現(xiàn)阿里巴巴排名查詢
urllib基礎(chǔ)模塊的應(yīng)用，通過該類獲取到url中的html文檔信息，內(nèi)部可以重寫代理的獲取方法
class ProxyScrapy(object):
def __init__(self):
self.proxy_robot = ProxyRobot()
self.current_proxy = None
self.cookie = cookielib.CookieJar()
def __builder_proxy_cookie_opener(self):
cookie_handler = urllib2.HTTPCookieProcessor(self.cookie)
handlers = [cookie_handler]
if PROXY_ENABLE:
self.current_proxy = ip_port = self.proxy_robot.get_random_proxy()
proxy_handler = urllib2.ProxyHandler({'http': ip_port[7:]})
handlers.append(proxy_handler)
opener = urllib2.build_opener(*handlers)
urllib2.install_opener(opener)
return opener
def get_html_body(self,url):
opener = self.__builder_proxy_cookie_opener()
request=urllib2.Request(url)
#request.add_header("Accept-Encoding", "gzip,deflate,sdch")
#request.add_header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
#request.add_header("Cache-Control", "no-cache")
#request.add_header("Connection", "keep-alive")
try:
response = opener.open(request,timeout=2)
http_code = response.getcode()
if http_code == 200:
if PROXY_ENABLE:
self.proxy_robot.handle_success_proxy(self.current_proxy)
html = response.read()
return html
else:
if PROXY_ENABLE:
self.proxy_robot.handle_double_proxy(self.current_proxy)
return self.get_html_body(url)
except Exception as inst:
print inst,self.current_proxy
self.proxy_robot.handle_double_proxy(self.current_proxy)
return self.get_html_body(url)
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)隨機(jī)漫步算法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-08-08
淺談python socket函數(shù)中,send與sendall的區(qū)別與使用方法
下面小編就為大家?guī)硪黄獪\談python socket函數(shù)中,send與sendall的區(qū)別與使用方法。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-05-05
這篇文章主要介紹了Python with語句用法原理詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
如果文件夾exp開頭的文件夾,里面沒有pt pth模型文件,就把目錄刪掉,本文通過示例代碼介紹pytorch 刪除空權(quán)重模型文件夾的方法,感興趣的朋友一起看看吧2023-11-11
這篇文章主要介紹了Python實(shí)現(xiàn)屏幕截圖的兩種方式及對(duì)這兩者的特點(diǎn)和用法進(jìn)行詳細(xì)解釋，感興趣的朋友一起看看2018-02-02
Python實(shí)現(xiàn)識(shí)別XSS漏洞的方法詳解
XSS（跨站腳本攻擊）作為一種常見的網(wǎng)絡(luò)安全漏洞，經(jīng)常被黑客用來攻擊網(wǎng)站。這篇文章主要介紹了如何利用Python 識(shí)別 XSS 漏洞，需要的可以參考一下2023-02-02
這篇文章主要為大家詳細(xì)介紹了Python如何使用pyside6編寫一個(gè)廣告圖片生成器,可以快速制作包含產(chǎn)品圖片和文字的廣告圖片,需要的可以參考下2025-01-01
Python實(shí)現(xiàn)找到同名文件并復(fù)制到其他文件夾中
這篇文章主要為大家介紹了如何基于Python語言，實(shí)現(xiàn)依據(jù)某一文件夾中大量文件的名稱復(fù)制另一文件夾中的同名文件，文中的示例代碼簡潔易懂，需要的可以參考一下2023-05-05
python pandas 如何替換某列的一個(gè)值？今天小編就為大家分享一篇python pandas 實(shí)現(xiàn)替換某列的一個(gè)值方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助2018-06-06
這篇文章主要介紹了Python中str.join()簡單用法,結(jié)合實(shí)例形式分析了Python中str.join()用于連接生成新字符串的相關(guān)操作技巧,需要的朋友可以參考下2018-03-03