快捷導(dǎo)航

Python實現(xiàn)爬取需要登錄的網(wǎng)站完整示例

更新時間：2017年08月19日 11:32:56 作者：羅兵

這篇文章主要介紹了Python實現(xiàn)爬取需要登錄的網(wǎng)站,結(jié)合完整實例形式分析了Python登陸網(wǎng)站及數(shù)據(jù)抓取相關(guān)操作技巧,需要的朋友可以參考下

本文實例講述了Python爬取需要登錄的網(wǎng)站實現(xiàn)方法。分享給大家供大家參考，具體如下：

import requests
from lxml import html
# 創(chuàng)建 session 對象。這個對象會保存所有的登錄會話請求。
session_requests = requests.session()
# 提取在登錄時所使用的 csrf 標(biāo)記
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("http://input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
  "username": "<你的用戶名>",
  "password": "<你的密碼>",
  "csrfmiddlewaretoken": authenticity_token # 在源代碼中，有一個名為 “csrfmiddlewaretoken” 的隱藏輸入標(biāo)簽。
}
# 執(zhí)行登錄
result = session_requests.post(
  login_url,
  data = payload,
  headers = dict(referer=login_url)
)
# 已經(jīng)登錄成功了，然后從 bitbucket dashboard 頁面上爬取內(nèi)容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
  url,
  headers = dict(referer = url)
)
# 測試爬取的內(nèi)容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

詳解Selenium+PhantomJS+python簡單實現(xiàn)爬蟲的功能
這篇文章主要介紹了詳解Selenium+PhantomJS+python簡單實現(xiàn)爬蟲的功能，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-07-07
Python報錯ValueError:?cannot?convert?float?NaN?to?intege
在Python編程中,我們經(jīng)常需要處理各種數(shù)據(jù)類型,包括浮點數(shù)和整數(shù),然而,有時候我們可能會遇到一些意外的情況,比如將一個包含NaN（Not?a?Number）的浮點數(shù)轉(zhuǎn)換為整數(shù)時,就會拋出錯誤,本文將探討這個錯誤的原因,并給出幾種可能的解決方案,需要的朋友可以參考下
2024-09-09
詳解python中各種文件打開模式
在python中，總的來說有三種大的模式打開文件,分別是:a, w, r，這篇文章主要介紹了python中各種文件打開模式,需要的朋友可以參考下
2020-01-01
Django微信小程序后臺開發(fā)教程的實現(xiàn)
這篇文章主要介紹了Django微信小程序后臺開發(fā)教程的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-06-06
Python標(biāo)準(zhǔn)庫urllib2的一些使用細節(jié)總結(jié)
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫urllib2的一些使用細節(jié)總結(jié),本文總結(jié)了Proxy 的設(shè)置、Timeout 設(shè)置、Redirect、Cookie等細節(jié)的使用,需要的朋友可以參考下
2015-03-03
python+mysql實現(xiàn)教務(wù)管理系統(tǒng)
這篇文章主要為大家詳細介紹了python+mysql實現(xiàn)教務(wù)管理系統(tǒng)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2019-02-02
Python MySQL數(shù)據(jù)庫連接池組件pymysqlpool詳解
這篇文章主要跟大家介紹了關(guān)于Python MySQL數(shù)據(jù)庫連接池組件pymysqlpool的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起看看吧。
2017-07-07
Python 逐行分割大txt文件的方法
本文通過代碼給大家介紹了Python 逐行分割大txt文件的方法，在文中給大家提到了Python從txt文件中逐行讀取數(shù)據(jù)的方法，需要的朋友參考下吧
2017-10-10
Python中使用urllib2防止302跳轉(zhuǎn)的代碼例子
這篇文章主要介紹了Python中使用urllib2防止302跳轉(zhuǎn)的代碼例子,即避免302跳轉(zhuǎn)的實現(xiàn),需要的朋友可以參考下
2014-07-07
Python 中字符串修飾符詳解
這篇文章主要介紹了Python中字符串修飾符的相關(guān)知識,本文給大家介紹的非常詳細,感興趣的朋友跟隨小編一起看看吧
2024-06-06