最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python登錄并獲取CSDN博客所有文章列表代碼實例

 更新時間:2017年12月28日 10:51:14   作者:樂百川  
這篇文章主要介紹了Python登錄并獲取CSDN博客所有文章列表代碼實例,具有一定借鑒價值,需要的朋友可以參考下

分析登錄過程

這幾天研究百度登錄和貼吧簽到,這百度果然是互聯(lián)網(wǎng)巨頭,一個登錄過程都弄得復雜無比,簡直有毒。我研究了好幾天仍然沒搞明白。所以還是先挑一個軟柿子捏捏,就選擇CSDN了。

過程很簡單,我也不截圖了。直接打開瀏覽器,然后打開Fiddler,然后登錄CSDN。然后Fiddler顯示瀏覽器向https://passport.csdn.net/account/login?ref=toolbar發(fā)送了一個POST請求,這個請求包含了登錄表單,而且還是未加密的。當然CSDN本身還是使用了HTTPS,所以安全性還行。

請求體如下,username和password當然是用戶名和密碼了。

username=XXXXX&password=XXXXXX&rememberMe=true&lt=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit

lt參數(shù)我不知道是干啥的,結(jié)果直接在頁面中一看原來全在表單里頭,這下直接全了。CSDN很貼心的連注釋都給出了。另外如果你打開百度首頁的話,還會發(fā)現(xiàn)瀏覽器的log中還會輸出百度的招聘信息。

HTML截圖

登錄代碼

這些信息全有了,這樣我們就可以登錄了。不說廢話,直接上代碼。先說說我遇到的幾個坑。

首先是一個參數(shù)錯誤,其實邏輯沒問題,但是代碼我復制粘貼之后忘了改名字了,就登錄表單那里,三個參數(shù)全弄成了lt,結(jié)果登錄返回來的頁面是錯誤頁面。我還以為是沒有附帶什么請求頭,瞎整了大半天。最后用Fiddler調(diào)試了好多遍才發(fā)現(xiàn)。

第二個問題就是CSDN雞賊的跳轉(zhuǎn)。由于瀏覽器自帶了JS引擎,所以我們在瀏覽器中輸入網(wǎng)址,到達頁面這一過程不一定就是一個請求??赡苤虚g用了什么JS代碼先跳轉(zhuǎn)到中間頁面,最后才跳轉(zhuǎn)到實際頁面。代碼里的_validate_redirect_url(self)函數(shù)就是干這個的,登錄完了第一次請求會得到一個中間頁面,它包含了一堆JS代碼,其中有個重定向網(wǎng)址。我們獲取到這個重定向網(wǎng)址,還得請求一次,獲得200OK之后,后續(xù)請求才能獲得實際頁面。

第三個問題就是正則表達式匹配頁面的空格問題了。獲取文章首先得知道文章總數(shù),這個好辦,直接獲取頁面里的文章數(shù)就行了。它類似100條共20頁這個。那么該怎么獲取呢?一開始我用的(\d+)條共(\d+)頁這個正則,但是結(jié)果沒匹配到,然后我仔細看了一下頁面,原來這兩個詞之間不是一個空格,而是兩個空格!其實這個問題倒是也好辦,改一下正則(\d+)條\s*共(\d+)頁就行了。所以以后如果遇到空格問題,直接用\s匹配,不要想著自己輸入一個空格還是兩個空格。

import requests
from bs4 import BeautifulSoup
import re
import urllib.parse as parse


class CsdnHelper:
  """登錄CSDN和列出所有文章的類"""
  csdn_login_url = 'https://passport.csdn.net/account/login?ref=toolbar'
  headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
  }
  blog_url = 'http://write.blog.csdn.net/postlist/'

  def __init__(self):
    self._session = requests.session()
    self._session.headers = CsdnHelper.headers

  def login(self, username, password):
    '''登錄主函數(shù)'''
    form_data = self._prepare_login_form_data(username, password)
    response = self._session.post(CsdnHelper.csdn_login_url, data=form_data)
    if 'UserNick' in response.cookies:
      nick = response.cookies['UserNick']
      print(parse.unquote(nick))
    else:
      raise Exception('登錄失敗')

  def _prepare_login_form_data(self, username, password):
    '''從頁面獲取參數(shù),準備提交表單'''
    response = self._session.get(CsdnHelper.csdn_login_url)
    login_page = BeautifulSoup(response.text, 'lxml')
    login_form = login_page.find('form', id='fm1')

    lt = login_form.find('input', attrs={'name': 'lt'})['value']
    execution = login_form.find('input', attrs={'name': 'execution'})['value']
    eventId = login_form.find('input', attrs={'name': '_eventId'})['value']
    form = {
      'username': username,
      'password': password,
      'lt': lt,
      'execution': execution,
      '_eventId': eventId
    }

    return form

  def _get_blog_count(self):
    '''獲取文章數(shù)和頁數(shù)'''
    self._validate_redirect_url()
    response = self._session.get(CsdnHelper.blog_url)
    blog_page = BeautifulSoup(response.text, 'lxml')
    span = blog_page.find('div', class_='page_nav').span
    print(span.string)
    pattern = re.compile(r'(\d+)條\s*共(\d+)頁')
    result = pattern.findall(span.string)
    blog_count = int(result[0][0])
    page_count = int(result[0][1])
    return (blog_count, page_count)

  def _validate_redirect_url(self):
    '''驗證重定向網(wǎng)頁'''
    response = self._session.get(CsdnHelper.blog_url)
    redirect_url = re.findall(r'var redirect = "(\S+)";', response.text)[0]
    self._session.get(redirect_url)

  def print_blogs(self):
    '''輸出文章信息'''
    blog_count, page_count = self._get_blog_count()
    for index in range(1, page_count + 1):
      url = f'http://write.blog.csdn.net/postlist/0/0/enabled/{index}'
      response = self._session.get(url)
      page = BeautifulSoup(response.text, 'lxml')
      links = page.find_all('a', href=re.compile(r'http://blog.csdn.net/u011054333/article/details/(\d+)'))
      print(f'----------第{index}頁----------')
      for link in links:
        blog_name = link.string
        blog_url = link['href']
        print(f'文章名稱:《{blog_name}》 文章鏈接:{blog_url}')


if __name__ == '__main__':
  csdn_helper = CsdnHelper()
  username = input("請輸入用戶名")
  password = input("請輸入密碼")
  csdn_helper.login(username, password)
  csdn_helper.print_blogs()

當然,這里最重要的的就是登錄過程了。我們登錄之后,才可以做其他事情。比方說,下一步還能寫一個備份工具,把CSDN博客的所有文章和圖片下載到本地。有興趣的同學可以試一試。

總結(jié)

以上就是本文關(guān)于Python登錄并獲取CSDN博客所有文章列表代碼實例的全部內(nèi)容,希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!

相關(guān)文章

  • Django基礎(chǔ)知識 web框架的本質(zhì)詳解

    Django基礎(chǔ)知識 web框架的本質(zhì)詳解

    這篇文章主要介紹了Django基礎(chǔ)知識 web框架的本質(zhì)詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-07-07
  • Python圖像處理庫PIL的ImageFilter模塊使用介紹

    Python圖像處理庫PIL的ImageFilter模塊使用介紹

    這篇文章主要介紹了Python圖像處理庫PIL的ImageFilter模塊使用介紹,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-02-02
  • Windows平臺Python編程必會模塊之pywin32介紹

    Windows平臺Python編程必會模塊之pywin32介紹

    在Windows平臺上,從原來使用C/C++編寫原生EXE程序,到使用Python編寫一些常用腳本程序,成熟的模塊的使用使得編程效率大大提高了
    2019-10-10
  • OpenCV黑帽運算(BLACKHAT)的使用

    OpenCV黑帽運算(BLACKHAT)的使用

    本文主要介紹了OpenCV黑帽運算(BLACKHAT)的使用,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2022-08-08
  • Python繪制指數(shù)分布的概率密度函數(shù)圖

    Python繪制指數(shù)分布的概率密度函數(shù)圖

    在數(shù)據(jù)科學和統(tǒng)計學中,指數(shù)分布是一種應用廣泛的連續(xù)概率分布,通常用于建模獨立隨機事件發(fā)生的時間間隔,本文將展示如何在Python中繪制指數(shù)分布的概率密度函數(shù)圖,需要的可以了解下
    2024-12-12
  • python numpy庫linspace相同間隔采樣的實現(xiàn)

    python numpy庫linspace相同間隔采樣的實現(xiàn)

    這篇文章主要介紹了python numpy庫linspace相同間隔采樣的實現(xiàn),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-02-02
  • python3爬蟲怎樣構(gòu)建請求header

    python3爬蟲怎樣構(gòu)建請求header

    在本篇內(nèi)容里小編給大家分享了關(guān)于python3爬蟲怎樣構(gòu)建請求header的知識點,需要的朋友們學習下。
    2018-12-12
  • OpenCV 表盤指針自動讀數(shù)的示例代碼

    OpenCV 表盤指針自動讀數(shù)的示例代碼

    這篇文章主要介紹了OpenCV 表盤指針自動讀數(shù)的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-04-04
  • python制作爬蟲并將抓取結(jié)果保存到excel中

    python制作爬蟲并將抓取結(jié)果保存到excel中

    本文給大家記錄的是使用Python制作爬蟲爬取拉勾網(wǎng)信息并將結(jié)果保存到Excel中的實現(xiàn)思路及方法,并附上最終源碼,有需要的小伙伴可以參考下
    2016-04-04
  • python畫環(huán)形圖的方法

    python畫環(huán)形圖的方法

    這篇文章主要為大家詳細介紹了python畫環(huán)形圖的相關(guān)代碼,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2020-03-03

最新評論

宜宾市| 五家渠市| 文登市| 连平县| 静宁县| 望奎县| 治多县| 秀山| 宣威市| 塔城市| 乌兰浩特市| 广宗县| 周宁县| 灵石县| 托克逊县| 正宁县| 民和| 永清县| 拉萨市| 舒城县| 海门市| 通榆县| 广安市| 广昌县| 台前县| 双牌县| 新巴尔虎右旗| 新丰县| 荔浦县| 松潘县| 河西区| 武隆县| 安阳县| 扎鲁特旗| 南溪县| 台南县| 收藏| 于田县| 孟连| 阜平县| 文昌市|