快捷導(dǎo)航

零基礎(chǔ)寫python爬蟲之urllib2中的兩個重要概念：Openers和Handlers

更新時間：2014年11月05日 16:46:06 投稿：hebedich

文章首先介紹了urllib2的2個方法，然后詳細(xì)介紹了urllib2中的2個重要概念Openers和Handlers的相關(guān)知識，希望能對大家有所幫助

在開始后面的內(nèi)容之前，先來解釋一下urllib2中的兩個個方法：info / geturl
urlopen返回的應(yīng)答對象response(或者HTTPError實例)有兩個很有用的方法info()和geturl()

1.geturl()：

這個返回獲取的真實的URL，這個很有用，因為urlopen(或者opener對象使用的)或許會有重定向。獲取的URL或許跟請求URL不同。
以人人中的一個超級鏈接為例,
我們建一個urllib2_test10.py來比較一下原始URL和重定向的鏈接：

復(fù)制代碼代碼如下:

from urllib2 import Request, urlopen, URLError, HTTPError  

old_url = 'http://rrurl.cn/b1UZuP'  

req = Request(old_url)  

response = urlopen(req)    

print 'Old url :' + old_url  

print 'Real url :' + response.geturl()

運行之后可以看到真正的鏈接指向的網(wǎng)址：

2.info()：

這個返回對象的字典對象，該字典描述了獲取的頁面情況。通常是服務(wù)器發(fā)送的特定頭headers。目前是httplib.HTTPMessage 實例。
經(jīng)典的headers包含"Content-length"，"Content-type"，和其他內(nèi)容。
我們建一個urllib2_test11.py來測試一下info的應(yīng)用：

復(fù)制代碼代碼如下:

from urllib2 import Request, urlopen, URLError, HTTPError  

old_url = 'http://www.baidu.com'  

req = Request(old_url)  

response = urlopen(req)    

print 'Info():'  

print response.info()

運行的結(jié)果如下，可以看到頁面的相關(guān)信息：

下面來說一說urllib2中的兩個重要概念：Openers和Handlers。

1.Openers：

當(dāng)你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。
正常情況下，我們使用默認(rèn)opener：通過urlopen。
但你能夠創(chuàng)建個性的openers。

2.Handles：

Openers使用處理器handlers，所有的“繁重”工作由handlers處理。
每個handlers知道如何通過特定協(xié)議打開URLs，或者如何處理URL打開時的各個方面。
例如HTTP重定向或者HTTP cookies。

如果你希望用特定處理器獲取URLs你會想創(chuàng)建一個openers，例如獲取一個能處理cookie的opener，或者獲取一個不重定向的opener。

要創(chuàng)建一個 opener，可以實例化一個OpenerDirector，
然后調(diào)用.add_handler(some_handler_instance)。
同樣，可以使用build_opener，這是一個更加方便的函數(shù)，用來創(chuàng)建opener對象，他只需要一次函數(shù)調(diào)用。
build_opener默認(rèn)添加幾個處理器，但提供快捷的方法來添加或更新默認(rèn)處理器。
其他的處理器handlers你或許會希望處理代理，驗證，和其他常用但有點特殊的情況。

install_opener 用來創(chuàng)建（全局）默認(rèn)opener。這個表示調(diào)用urlopen將使用你安裝的opener。
Opener對象有一個open方法。
該方法可以像urlopen函數(shù)那樣直接用來獲取urls：通常不必調(diào)用install_opener，除了為了方便。

說完了上面兩個內(nèi)容，下面我們來看一下基本認(rèn)證的內(nèi)容，這里會用到上面提及的Opener和Handler。

Basic Authentication 基本驗證

為了展示創(chuàng)建和安裝一個handler，我們將使用HTTPBasicAuthHandler。
當(dāng)需要基礎(chǔ)驗證時，服務(wù)器發(fā)送一個header(401錯誤碼) 請求驗證。這個指定了scheme 和一個‘realm'，看起來像這樣：Www-authenticate: SCHEME realm="REALM".
例如
Www-authenticate: Basic realm="cPanel Users"
客戶端必須使用新的請求，并在請求頭里包含正確的姓名和密碼。
這是“基礎(chǔ)驗證”，為了簡化這個過程，我們可以創(chuàng)建一個HTTPBasicAuthHandler的實例，并讓opener使用這個handler就可以啦。

HTTPBasicAuthHandler使用一個密碼管理的對象來處理URLs和realms來映射用戶名和密碼。
如果你知道realm(從服務(wù)器發(fā)送來的頭里)是什么，你就能使用HTTPPasswordMgr。

通常人們不關(guān)心realm是什么。那樣的話，就能用方便的HTTPPasswordMgrWithDefaultRealm。
這個將在你為URL指定一個默認(rèn)的用戶名和密碼。
這將在你為特定realm提供一個其他組合時得到提供。
我們通過給realm參數(shù)指定None提供給add_password來指示這種情況。

最高層次的URL是第一個要求驗證的URL。你傳給.add_password()更深層次的URLs將同樣合適。
說了這么多廢話，下面來用一個例子演示一下上面說到的內(nèi)容。
我們建一個urllib2_test12.py來測試一下info的應(yīng)用：

復(fù)制代碼代碼如下: