python?包實現?urllib?網絡請求操作
更新時間：2022年04月19日 17:40:49 作者：autofelix
這篇文章主要介紹了python包實現urllib網絡請求操作，urllib?是?Python?標準庫中用于網絡請求的庫，下面urllib的相關資料介紹，需要的小伙伴可以參考一下
一、簡介
- 是一個 python 內置包，不需要額外安裝即可使用
- urllib 是 Python 標準庫中用于網絡請求的庫，內置四個模塊，分別是
- urllib.request：用來打開和讀取 url，可以用它來模擬發(fā)送請求，獲取網頁響應內容
- urllib.error：用來處理 urllib.request 引起的異常，保證程序的正常執(zhí)行
- urllib.parse：用來解析 url，可以對 url 進行拆分、合并等
- urllib.robotparse：用來解析 robots.txt 文件，判斷網站是否能夠進行爬取
二、發(fā)起請求
import urllib.request
# 方法一
resp = urllib.request.urlopen('http://www.baidu.com', timeout=1)
print(resp.read().decode('utf-8'))
# 方法二
request = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))三、攜帶參數請求
- 請求某些網頁時需要攜帶一些數據
import urllib.parse
import urllib.request
params = {
'name':'autofelix',
'age':'25'
}
data = bytes(urllib.parse.urlencode(params), encoding='utf8')
response = urllib.request.urlopen("http://www.baidu.com/", data=data)
print(response.read().decode('utf-8'))四、獲取響應數據
import urllib.request
resp = urllib.request.urlopen('http://www.baidu.com')
print(type(resp))
print(resp.status)
print(resp.geturl())
print(resp.getcode())
print(resp.info())
print(resp.getheaders())
print(resp.getheader('Server'))五、設置headers
import urllib.request
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}
request = urllib.request.Request(url="http://tieba.baidu.com/", headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))六、使用代理
import urllib.request
proxys = urllib.request.ProxyHandler({
'http': 'proxy.cn:8080',
'https': 'proxy.cn:8080'
})
opener = urllib.request.build_opener(proxys)
urllib.request.install_opener(opener)
request = urllib.request.Request(url="http://www.baidu.com/")
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))七、認證登錄
- 有些網站需要攜帶賬號和密碼進行登錄之后才能繼續(xù)瀏覽網頁
import urllib.request
url = "http://www.baidu.com/"
user = 'autofelix'
password = '123456'
pwdmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
pwdmgr.add_password(None,url,user,password)
auth_handler = urllib.request.HTTPBasicAuthHandler(pwdmgr)
opener = urllib.request.build_opener(auth_handler)
response = opener.open(url)
print(response.read().decode('utf-8'))八、設置cookie
- 如果請求的頁面每次需要身份驗證，我們可以使用
Cookies來自動登錄，免去重復登錄驗證的操作
import http.cookiejar
import urllib.request
cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open("http://www.baidu.com/")
f = open('cookie.txt', 'a')
for item in cookie:
f.write(item.name+" = "+item.value+'\n')
f.close()九、異常處理
from urllib import error, request
try:
resp = request.urlopen('http://www.baidu.com')
except error.URLError as e:
print(e.reason)十、HTTP異常
from urllib import error, request
try:
resp = request.urlopen('http://www.baidu.com')
except error.HTTPError as e:
print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
print(e.reason)
else:
print('request successfully')十一、超時異常
import socket, urllib.request, urllib.error
try:
resp = urllib.request.urlopen('http://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:
print(type(e.reason))
if isinstance(e.reason,socket.timeout):
print('time out')十二、解析編碼
from urllib import parse
name = parse.quote('飛兔小哥')
# 轉換回來
parse.unquote(name)十三、參數拼接
- 在訪問url時，我們常常需要傳遞很多的url參數
- 而如果用字符串的方法去拼接url的話，會比較麻煩
from urllib import parse
params = {'name': '飛兔', 'age': '27', 'height': '178'}
parse.urlencode(params)十四、請求鏈接解析
from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index.html?user=autofelix')
print(type(result))
print(result)十五、拼接鏈接
- 如果拼接的是兩個鏈接，則以返回后面的鏈接
- 如果拼接是一個鏈接和參數，則返回拼接后的內容
from urllib.parse import urljoin
print(urljoin('http://www.baidu.com', 'index.html'))十六、字典轉換參數
from urllib.parse import urlencode
params = {
'name': 'autofelix',
'age': 27
}
baseUrl = 'http://www.baidu.com?'
print(baseUrl + urlencode(params))到此這篇關于python 包中的 urllib 網絡請求教程的文章就介紹到這了,更多相關 urllib 網絡請求 內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了django中使用原生sql語句的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
這篇文章主要介紹了python實現計算倒數的方法,涉及Python針對數學運算操作的相關技巧,需要的朋友可以參考下2015-07-07
文中詳細整理了關于Python模塊和包的相關知識點,剛入門Python的小伙伴們可以學習一下,有助于加深Python基礎的理解.而且有詳細說明及代碼示例,需要的朋友可以參考下2021-05-05
和其他語言一樣，Python為string對象提供了轉換大小寫的方法：upper() 和 lower()。還不止這些，Python還為我們提供了首字母大寫，其余小寫的capitalize()方法，以及所有單詞首字母大寫，其余小寫的title()方法。2008-09-09
這篇文章主要介紹了python 引用傳遞和值傳遞詳解(實參,形參)。具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了python對ip地址進行排序、分類的方法詳解,IP協(xié)議全稱為“網際互連協(xié)議Internet?Protocol”，IP協(xié)議是TCP/IP體系中的網絡層協(xié)議,需要的朋友可以參考下2023-07-07
Python 是一種高級的，動態(tài)的，多泛型的編程語言。接下來通過本文給大家介紹Python Numpy 數組的初始化和基本操作，感興趣的朋友一起看看吧2018-03-03
這篇文章主要給大家匯總介紹了關于Pandas實現數據類型轉換的一些小技巧，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2018-05-05
這篇文章主要介紹了Django的用戶模塊與權限系統(tǒng)的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
正則表達式是用來匹配與查找字符串的,從網上爬取數據自然或多或少會用到正則表達式,python的正則表達式要先引入re模塊,這篇文章主要給大家介紹了關于Python正則表達式re模塊的相關資料,需要的朋友可以參考下2022-07-07