快捷導(dǎo)航

Python中requests.session()的用法小結(jié)

更新時(shí)間：2022年11月18日 11:21:29 作者：craftsman2020

這篇文章主要介紹了Python中requests.session()的用法小結(jié),可能大家對?session?已經(jīng)比較熟悉了，也大概了解了session的機(jī)制和原理，但是我們在做爬蟲時(shí)如何會運(yùn)用到session呢，接下來要講到會話保持，需要的朋友可以參考下

session定義

requests庫的session會話對象可以跨請求保持某些參數(shù)，說白了，就是比如你使用session成功的登錄了某個(gè)網(wǎng)站，則在再次使用該session對象請求該網(wǎng)站的其他網(wǎng)頁都會默認(rèn)使用該session之前使用的cookie等參數(shù)。

尤其是在保持登陸狀態(tài)時(shí)運(yùn)用的最多，在某些網(wǎng)站抓取，或者app抓取時(shí)，有時(shí)強(qiáng)制登陸，有的是不登陸返回的數(shù)據(jù)就是假的或者說是不完整的數(shù)據(jù)，那我們不可能去做到每一次請求都要去登陸一下怎么辦，就需要用到保持會話的功能了，我們可以只登陸一次，然后保持這種狀態(tài)去做其他的或者更多的請求。

其次，我們該如何使用會話保持？舉一個(gè)事例來說明一下：

session使用實(shí)例

http協(xié)議本身是無狀態(tài)的，為了讓請求之間保持狀態(tài)，有了session和cookie機(jī)制。 requests 也提供了相應(yīng)的方法去操縱它們。

requests中的session對象能夠讓我們跨http請求保持某些參數(shù)，即讓同一個(gè)session對象發(fā)送的請求頭攜帶某個(gè)指定的參數(shù)。當(dāng)然，最常見的應(yīng)用是它可以讓cookie保持在后續(xù)的一串請求中。

下面，通過官方文檔中的示例來了解如何使用它。

import requests
s = requests.session()
# 第一步：發(fā)送一個(gè)請求，用于設(shè)置請求中的cookies
r1 = s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
print(r1.text)
# 第二步：再發(fā)送一個(gè)請求，用于查看當(dāng)前請求中的cookies
r2 = s.get("http://httpbin.org/cookies")
print(r2.text)

運(yùn)行結(jié)果

{
"cookies": {
"sessioncookie": "123456789"
}
}

{
"cookies": {
"sessioncookie": "123456789"
}
}

從結(jié)果中我們可以看出，第二次請求已經(jīng)攜帶上了第一次請求所設(shè)置的cookie，即通過session達(dá)到了保持cookie的目的。示例中創(chuàng)建了一個(gè)requests.Session()對象，通過該對象來進(jìn)行http請求操作，該操作基本類似于requests.request()

由于session讓請求之間具有了連貫性，那么，就有了跨請求參數(shù)和非跨請求參數(shù)的區(qū)別。即有時(shí)我想讓所有請求均帶有某個(gè)參數(shù)，而有時(shí)我只是想讓單獨(dú)的一條請求帶上臨時(shí)的參數(shù)。通過下面的例子來了解如何使用。

import requests
s = requests.Session()
s.headers.update({'x-test': 'true'})
# both 'x-test' and 'x-test2' are sent
r1 = s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})
print(r1.text)
# 'x-test' is sent
r2 = s.get('http://httpbin.org/headers')
print(r2.text)

運(yùn)行結(jié)果

# r1.text
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.22.0",
"X-Amzn-Trace-Id": "Root=1-5e91656f-b99f14a4d6f47f9e55a90bb4",
"X-Test": "true",
"X-Test2": "true"
}
}
# r2.text
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.22.0",
"X-Amzn-Trace-Id": "Root=1-5e91656f-e9741db4c2ca2fd6e0628396",
"X-Test": "true"
}
}

從結(jié)果中我們可以得出兩條結(jié)論：

session可以為請求方法提供缺省數(shù)據(jù)，比如第一次請求中的{‘x-test’: ‘true’}就是缺省數(shù)據(jù)，此時(shí)的缺省數(shù)據(jù)就是跨請求參數(shù)。
方法級別的參數(shù)不會被跨請求保持，比如第二次請求時(shí)，沒有攜帶headers={‘x-test2’: ‘true’}，返回的結(jié)果中也沒有{‘x-test2’: ‘true’}，說明該參數(shù)沒有在第一次請求后被保持住。

另外說一點(diǎn)單獨(dú)處理cookie字段，處理為字典格式

# 處理cookie內(nèi)容為字典
cookie = "SINAGLOBAL=821034395211.0111.1522571861723; wb_cmtLike_1850586643=1; un=tyz950829@sina.com; wb_timefeed_1850586643=1; UOR=,,login.sina.com.cn; wvr=6; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WWsNeq71O_sXkkXNnXFHgOW5JpX5KMhUgL.Fo2RSK5f1hqcShe2dJLoI0qLxK-L12qLB-zLxKqL1hnL1K2LxK-LBo5L12qLxKqL1hML1KzLxKnL1K.LB-zLxK-L1K-LBKqt; YF-V5-G0=c99031715427fe982b79bf287ae448f6; ALF=1556795806; SSOLoginState=1525259808; SCF=AqTMLFzIuDI5ZEtJyAEXb31pv1hhUdGUCp2GoKYvOW0LQTInAItM-ENbxHRAnnRUIq_MR9afV8hMc7c-yVn2jI0.; SUB=_2A2537e5wDeRhGedG7lIU-CjKzz-IHXVUm1i4rDV8PUNbmtBeLVrskW9NUT1fPIUQGDKLrepaNzTEZxZHOstjoLOu; SUHB=0IIUWsCH8go6vb; _s_tentry=-; Apache=921830614666.5322.1525261512883; ULV=1525261512916:139:10:27:921830614666.5322.1525261512883:1525239937212; YF-Page-G0=b5853766541bcc934acef7f6116c26d1"
cookie_dict = {i.split("=")[0]: i.split("=")[1] for i in cookie.split("; ")}