Python requests獲取網(wǎng)頁常用方法解析
更新時間：2020年02月20日 11:20:15 作者：酸果實愛吐泡泡的魚
這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
主要記錄使用 requests 模塊獲取網(wǎng)頁源碼的方法
class Crawler(object):
"""
采集類
"""
def __init__(self, base_url):
self._base_url = base_url
self._cookie = None
self._getCookie()
def _getCookie(self):
"""
獲取站點cookie
:return:
"""
try:
res = requests.get(self._base_url)
res.raise_for_status()
# TODO response.cookies獲取到的是一個cookiejar對象，需要使用requests.utils.dict_from_cookiejar來
# TODO 將cookiejar對象轉(zhuǎn)換為一個字典，這個字典后續(xù)使用的時候，在請求時直接傳入就可以了，
# 如 requests.get(url, cookies=cookies)
self._cookie = requests.utils.dict_from_cookiejar(res.cookies)
print self._cookie
except Exception as e:
print e
def get_html_text(self, url, **kwargs):
"""
爬取網(wǎng)頁的通用代碼框架
:param url:
:param method:
:param kwargs:
:return:
"""
try:
kwargs.setdefault('cookies', self._cookie)
res = requests.get(url, **kwargs)
# TODO 若響應狀態(tài)碼不是200, 拋出 HTTPError 異常
res.raise_for_status()
res.encoding = res.apparent_encoding
# print requests.utils.dict_from_cookiejar(res.cookies)
return res.text
except Exception as e:
print traceback.print_exc()
return
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python如何實時獲取tcpdump輸出，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-09-09
今天小編就為大家分享一篇PyQt編程之如何在屏幕中央顯示窗體的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
python使用 request 發(fā)送表單數(shù)據(jù)操作示例
這篇文章主要介紹了python使用 request 發(fā)送表單數(shù)據(jù)操作,結(jié)合實例形式分析了Python基于requests模塊的表單數(shù)據(jù)發(fā)送操作相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2019-09-09
文章介紹了在Python中讀取Excel文件的兩種方法：使用pandas庫和使用openpyxl庫,pandas適合數(shù)據(jù)分析和處理,而openpyxl提供了更多的Excel文件操作功能,感興趣的朋友跟隨小編一起看看吧2024-11-11
Python作為一種功能強大且易于學習的編程語言,提供了許多用于處理HTTP請求的庫,其中,Requests庫是最受歡迎的選擇之一,本文主要介紹了Python中的HTTP請求庫Requests的具體使用,感興趣的可以了解一下2023-12-12
Python刪除Java源文件中全部注釋的實現(xiàn)方法
這篇文章主要介紹了Python刪除Java源文件中全部注釋的實現(xiàn)方法,涉及Python讀取文件、正則匹配、字符串查找、替換等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
python深度學習tensorflow入門基礎(chǔ)教程示例
這篇文章主要為大家介紹了python深度學習tensorflow入門基礎(chǔ)教程示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
這篇文章主要介紹了python?+?pyqt5制作一個串口助手,串口助手是串口通信使用的工具，為整合知識，打算做個串口助手，本文給大家講解的非常詳細，需要的朋友可以參考下2023-04-04
今天小編就為大家分享一篇Python返回數(shù)組/List長度的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Python Opencv提取圖片中某種顏色組成的圖形的方法
這篇文章主要介紹了Python Opencv提取圖片中某種顏色組成的圖形的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09