最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python 通過爬蟲實(shí)現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼

 更新時(shí)間:2020年08月17日 10:04:12   作者:Amo Xiang  
這篇文章主要介紹了Python 通過爬蟲實(shí)現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

1. 實(shí)例描述

通過爬蟲獲取網(wǎng)頁的信息時(shí),有時(shí)需要登錄網(wǎng)頁后才可以獲取網(wǎng)頁中的可用數(shù)據(jù),例如獲取 GitHub 網(wǎng)頁中的注冊號碼時(shí),就需要先登錄賬號才能在登錄后的頁面中看到該信息,如下圖所示。那么該如何實(shí)現(xiàn)模擬登錄的功能呢?本文實(shí)現(xiàn)將通過爬蟲實(shí)現(xiàn) GitHub 網(wǎng)頁的模擬登錄。

2. 代碼實(shí)現(xiàn)

在實(shí)現(xiàn) GitHub 網(wǎng)頁的模擬登錄時(shí),首先需要查看提交登錄請求時(shí)都要哪些請求參數(shù),然后獲取登錄請求的所有參數(shù),再發(fā)送登錄請求。如果登錄成功的情況下獲取頁面中的注冊號碼信息即可。具體步驟如下:

(1) 點(diǎn)擊 此處 打開 GitHub 的登錄頁面,然后輸入賬號與密碼,如下圖所示。


(2) 用 F12 或者 鼠標(biāo)右鍵單擊網(wǎng)頁選擇 檢查 打開瀏覽器的開發(fā)者工具,選擇獲取網(wǎng)絡(luò)請求過程,然后單擊登錄頁面中的 Sign in 按鈕,此時(shí)開發(fā)者工具中將顯示 GitHub 網(wǎng)頁的登錄請求過程,重點(diǎn)查找名稱為 session 的網(wǎng)絡(luò)請求。如下圖所示。


(3) 單擊名稱為 session 的網(wǎng)絡(luò)請求,然后在 Headers 請求信息中主要查看 Request HeadersForm Data 中的各種信息,其中紅框內(nèi)為重要參數(shù)與數(shù)據(jù)。如下圖所示。


說明:Host 為主頁面地址,Referer 為當(dāng)前請求的來源地址。User-Agent 為瀏覽器的頭部信息。Form Data 中的所有信息都是登錄請求的所用參數(shù),其中動(dòng)態(tài)參數(shù)為重要參數(shù),authenticity_token 為加密字符串,login 為登錄的賬號,password 為密碼,其它參數(shù)為靜態(tài)參數(shù)。由于動(dòng)態(tài)參數(shù)只有 authenticity_tokenlogin 以及password ,而用戶名與密碼只需要將動(dòng)態(tài)字符串填寫對應(yīng)的位置即可,所以接下來需要獲取 authenticity_token 參數(shù)所對應(yīng)的加密字符串。

(4) 在瀏覽器中退出所登錄的 GitHub 賬號,返回 GitHub 的登錄頁面,打開瀏覽器開發(fā)者工具,查看網(wǎng)頁的 html 代碼,然后在代碼中搜索 authenticity_token 關(guān)鍵詞,標(biāo)簽內(nèi) value 所對應(yīng)的值為 authenticity_token 參數(shù)的加密字符串。如下圖所示。


(5) 實(shí)現(xiàn)爬蟲代碼,首先導(dǎo)入所需模塊,然后創(chuàng)建頭部信息,再通過 Session 會(huì)話對象發(fā)送網(wǎng)絡(luò)請求獲取 authenticity_token 信息,最后通過所有的登陸請求參數(shù)實(shí)現(xiàn) GitHub 網(wǎng)頁的登陸請求并提取注冊號碼。具體代碼如下:

# -*- coding: utf-8 -*-
# @Time  : 2020/5/10 23:25
# @Author : 我就是任性-Amo
# @FileName: 77.通過爬蟲實(shí)現(xiàn)GitHub網(wǎng)頁的模擬登錄.py
# @Software: PyCharm
# @Blog  :https://blog.csdn.net/xw1680

import requests # 導(dǎo)入網(wǎng)絡(luò)請求模塊
from lxml import etree # 導(dǎo)入數(shù)據(jù)解析模塊 都是第三方模塊需要安裝 
# pip install requests/lxml如果太慢 可以加上鏡像服務(wù)器 或者在Pycharm中使用圖形化界面進(jìn)行安裝


class GitHubLogin(object):
  def __init__(self, username, password):
    # 構(gòu)造頭部信息
    self.headers = {
      "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
             "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
      "Host": "github.com",
      "Referer": "https://github.com/login"
    }
    self.login_url = "https://github.com/login" # 登錄頁面地址
    self.post_url = "https://github.com/session" # 實(shí)現(xiàn)登錄的請求地址
    self.session = requests.Session() # 創(chuàng)建Session會(huì)話對象
    self.user_name = username # 用戶名
    self.password = password # 密碼

  # 獲取authenticity_token信息
  def get_token(self):
    # 發(fā)送登錄頁面的網(wǎng)絡(luò)請求
    response = self.session.get(self.login_url, headers=self.headers)
    if response.status_code == 200: # 判斷請求是否成功
      html = etree.HTML(response.text) # 解析html
      # 提取authenticity_token信息
      token = html.xpath("http://div[@id='login']/form/input[1]/@value")[0]
      # print(token) 測試是否能夠獲取到token
    return token # 返回信息

  # 實(shí)現(xiàn)登錄
  def login(self):
    # 請求參數(shù)
    post_data = {
      "commit": "Sign in",
      "authenticity_token": self.get_token(),
      "login": self.user_name,
      "password": self.password,
      "webauthn - support": "supported"
    }
    # 發(fā)送登錄請求
    response = self.session.post(self.post_url, headers=self.headers, data=post_data)
    if response.status_code == 200: # 判斷請求是否成功
      html = etree.HTML(response.text) # 解析html
      # 獲取注冊號碼
      register_number = html.xpath("http://div[contains(@class,'Header-item')][last()]//strong")[0]
      print(f"注冊號碼為: {register_number.text}")
    else:
      print("登錄失敗")


if __name__ == '__main__':
  user_name = input("請輸入您的用戶名:") # 獲取輸入的用戶名
  password = input("請輸入您的密碼:") # 獲取輸入的密碼
  login = GitHubLogin(user_name, password) # 創(chuàng)建登錄類對象并傳遞輸入的用戶名與密碼
  login.login()

執(zhí)行以上代碼,輸入用戶名與密碼,即可顯示獲取的注冊號碼。如下圖所示:

到此這篇關(guān)于Python 通過爬蟲實(shí)現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼的文章就介紹到這了,更多相關(guān)Python GitHub模擬登錄內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • python使用Matplotlib畫餅圖

    python使用Matplotlib畫餅圖

    這篇文章主要介紹了python使用Matplotlib畫餅圖,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-09-09
  • 詳解如何為eclipse安裝合適版本的python插件pydev

    詳解如何為eclipse安裝合適版本的python插件pydev

    這篇文章主要介紹了詳解如何為eclipse安裝合適版本的python插件pydev,pydev是一款優(yōu)秀的Eclipse插件,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-11-11
  • python爬蟲爬取某圖書網(wǎng)頁實(shí)例講解

    python爬蟲爬取某圖書網(wǎng)頁實(shí)例講解

    這篇文章主要介紹了python爬蟲爬取某圖書網(wǎng)頁實(shí)例,下面是通過requests庫來對ajax頁面進(jìn)行爬取的案例,與正常頁面不同,這里我們獲取url的方式也會(huì)不同,這里我們通過爬取一個(gè)簡單的ajax小說頁面來為大家講解,需要的朋友可以參考下
    2024-08-08
  • Pycharm中的下載安裝、配置與測試方式

    Pycharm中的下載安裝、配置與測試方式

    這篇文章主要介紹了Pycharm中的下載安裝、配置與測試方式,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-12-12
  • Linux 發(fā)郵件磁盤空間監(jiān)控(python)

    Linux 發(fā)郵件磁盤空間監(jiān)控(python)

    這篇文章主要介紹了Linux發(fā)郵件磁盤空間監(jiān)控功能,python實(shí)現(xiàn),需要的朋友可以參考下
    2016-04-04
  • Pytorch中TensorBoard及torchsummary的使用詳解

    Pytorch中TensorBoard及torchsummary的使用詳解

    這篇文章主要介紹了Pytorch中TensorBoard及torchsummary的使用詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-05-05
  • Python繪制動(dòng)態(tài)的521玫瑰花

    Python繪制動(dòng)態(tài)的521玫瑰花

    敲了這么多年代碼,每年都得畫一些心啊花啊什么的,所以現(xiàn)在常規(guī)的已經(jīng)有些倦怠了,至少也得來個(gè)三維圖形才看著比較合理,所以本文就來繪制一個(gè)動(dòng)態(tài)的玫瑰花吧
    2023-05-05
  • 基于Python實(shí)現(xiàn)的微信好友數(shù)據(jù)分析

    基于Python實(shí)現(xiàn)的微信好友數(shù)據(jù)分析

    這篇文章主要介紹了基于Python實(shí)現(xiàn)的微信好友數(shù)據(jù)分析的相關(guān)知識,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下
    2018-02-02
  • Python3 掃描庫文件并獲取版本號信息的操作方法

    Python3 掃描庫文件并獲取版本號信息的操作方法

    在 C/C++ 開發(fā)中使用了第三方庫,具體說是 .a, .lib, .dll 等文件,想通過 Python 查詢出這些文件中的版本號信息,下面小編給大家?guī)砹薖ython3中掃描庫文件并獲取版本號信息的知識,需要的朋友可以參考下
    2023-05-05
  • python如何獲取.csv文件中的某一列或者某些列

    python如何獲取.csv文件中的某一列或者某些列

    這篇文章主要介紹了python如何獲取.csv文件中的某一列或者某些列問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-02-02

最新評論

雷波县| 漳平市| 天全县| 义马市| 阿合奇县| 通许县| 吴旗县| 托克逊县| 苏尼特左旗| 龙泉市| 高碑店市| 伽师县| 伽师县| 南昌县| 石柱| 万源市| 凉城县| 柳州市| 阿拉善左旗| 梁平县| 宜良县| 开鲁县| 漠河县| 茌平县| 仙桃市| 漳平市| 凌海市| 汾阳市| 三江| 白沙| 大渡口区| 邵武市| 肇州县| 梅州市| 定西市| 沧州市| 德令哈市| 衡山县| 大冶市| 淮北市| 工布江达县|