最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

對python抓取需要登錄網(wǎng)站數(shù)據(jù)的方法詳解

 更新時間:2018年05月21日 10:19:54   作者:wppkind  
今天小編就為大家分享一篇對python抓取需要登錄網(wǎng)站數(shù)據(jù)的方法詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

scrapy.FormRequest

login.py

class LoginSpider(scrapy.Spider):
 name = 'login_spider'
 start_urls = ['http://www.login.com']
 def parse(self, response):
  return [
   scrapy.FormRequest.from_response(
     response,
     # username和password要根據(jù)實際頁面的表單的name字段進行修改
     formdata={'username': 'your_username', 'password': 'your_password'},
     callback=self.after_login)]
 def after_login(self, response):
  # 登錄后的代碼
  pass

selenium登錄獲取cookie

get_cookie_by_selenium.py

import pickle
import time
from selenium import webdriver
def get_cookies():
 url = 'https://www.test.com'
 web_driver = webdriver.Chrome()
 web_driver.get(url)
 username = web_driver.find_element_by_id('login-email')
 username.send_keys('username')
 password = web_driver.find_element_by_id('login-password')
 password.send_keys('password')
 login_button = web_driver.find_element_by_id('login-submit')
 login_button.click()
 time.sleep(3)
 cookies = web_driver.get_cookies()
 web_driver.close()
 return cookies
if __name__ == '__main__':
 cookies = get_cookies()
 pickle.dump(cookies, open('cookies.pkl', 'wb'))

獲取瀏覽器cookie(以Ubuntu的Firefox為例)

get_cookie_by_firefox.py

import sqlite3
import pickle
def get_cookie_by_firefox():
 cookie_path = '/home/name/.mozilla/firefox/bqtvfe08.default/cookies.sqlite'
 with sqlite3.connect(cookie_path) as conn:
  sql = 'select name,value from moz_cookies where baseDomain="test.com"'
  cur = conn.cursor()
  cookies = [{'name': name, 'value': value} for name, value in cur.execute(sql).fetchall()]
  return cookies
if __name__ == '__main__':
 cookies = get_cookie_from_firefox()
 pickle.dump(cookies, open('cookies.pkl', 'wb'))

scrapy使用獲取后的cookie

cookies = pickle.load(open('cookies.pkl', 'rb'))
yield scrapy.Request(url, cookies=cookies, callback=self.parse)

requests使用獲取后的cookie

cookies = pickle.load(open('cookies.pkl', 'rb'))
s = requests.Session()
for cookie in cookies:
 s.cookies.set(cookie['name'], cookie['value'])

selenium使用獲取后的cookie

from selenium import webdriver
cookies = pickle.load(open('cookies.pkl', 'rb'))
w = webdriver.Chrome()
# 直接添加cookie會報錯,下面是一種解決方案,可能有更好的
# -- start --
w.get('http://www.test.com')
w.delete_all_cookies()
# -- end --
for cookie in cookies:
 w.add_cookie(cookie)

以上這篇對python抓取需要登錄網(wǎng)站數(shù)據(jù)的方法詳解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • urllib和BeautifulSoup爬取維基百科的詞條簡單實例

    urllib和BeautifulSoup爬取維基百科的詞條簡單實例

    這篇文章主要介紹了urllib和BeautifulSoup爬取維基百科的詞條簡單實例,具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • Python深度學(xué)習(xí)之使用Albumentations對圖像做增強

    Python深度學(xué)習(xí)之使用Albumentations對圖像做增強

    諸如RandomCrop和CenterCrop之類的某些增強功能可能會變換圖像,使其不包含所有原始邊界框. 本示例說明如何使用名為RandomSizedBBoxSafeCrop的變換來裁剪圖像的一部分,但保留原始圖像的所有邊界框,需要的朋友可以參考下
    2021-05-05
  • 在linux下實現(xiàn) python 監(jiān)控usb設(shè)備信號

    在linux下實現(xiàn) python 監(jiān)控usb設(shè)備信號

    今天小編就為大家分享一篇在linux下實現(xiàn) python 監(jiān)控usb設(shè)備信號,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • Python設(shè)計模式中的結(jié)構(gòu)型橋接模式

    Python設(shè)計模式中的結(jié)構(gòu)型橋接模式

    這篇文章主要介紹了Python設(shè)計模式中的結(jié)構(gòu)型橋接模式,橋接模式即Bridge?Pattern,將抽象部分與它的實現(xiàn)部分分離,使它們都可以獨立地變化.下面來看看文章的詳細內(nèi)容介紹吧
    2022-02-02
  • django刪除表重建的實現(xiàn)方法

    django刪除表重建的實現(xiàn)方法

    今天小編就為大家分享一篇django刪除表重建的實現(xiàn)方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • Python 共享變量加鎖、釋放詳解

    Python 共享變量加鎖、釋放詳解

    這篇文章主要介紹了Python 共享變量加鎖、釋放詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-08-08
  • Django使用mysqlclient服務(wù)連接并寫入數(shù)據(jù)庫的操作過程

    Django使用mysqlclient服務(wù)連接并寫入數(shù)據(jù)庫的操作過程

    這篇文章主要介紹了Django使用mysqlclient服務(wù)連接并寫入數(shù)據(jù)庫,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-07-07
  • Python實現(xiàn)的文本編輯器功能示例

    Python實現(xiàn)的文本編輯器功能示例

    這篇文章主要介紹了Python實現(xiàn)的文本編輯器功能,結(jié)合實例形式詳細分析了基于wxpython實現(xiàn)文本編輯器所需的功能及相關(guān)實現(xiàn)技巧,需要的朋友可以參考下
    2017-06-06
  • Python3安裝Pillow與PIL的方法

    Python3安裝Pillow與PIL的方法

    今天小編就為大家分享一篇關(guān)于Python3安裝Pillow與PIL的方法,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2019-04-04
  • python中MethodType方法介紹與使用示例

    python中MethodType方法介紹與使用示例

    這篇文章主要給大家介紹了關(guān)于python中MethodType方法的相關(guān)資料,文中通過示例代碼給大家介紹的非常詳細,并給出了詳細的注釋供大家理解學(xué)習(xí),需要的朋友可以參考借鑒,下面跟著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2017-08-08

最新評論

峡江县| 涿鹿县| 开封市| 惠来县| 垫江县| 广安市| 公主岭市| 连云港市| 元氏县| 呼和浩特市| 延寿县| 手游| 微博| 延寿县| 甘肃省| 龙江县| 青河县| 类乌齐县| 耿马| 广东省| 镇安县| 丹东市| 酉阳| 云龙县| 阿瓦提县| 垫江县| 延吉市| 瑞金市| 永寿县| 齐齐哈尔市| 如东县| 嵩明县| 商都县| 镇江市| 五华县| 中卫市| 文成县| 华安县| 垣曲县| 金山区| 甘谷县|