python爬蟲使用cookie登錄詳解

更新時間：2017年12月27日 14:22:47 作者：__擱淺

這篇文章主要介紹了python爬蟲使用cookie登錄詳解，具有一定借鑒價值,需要的朋友可以參考下

前言：

什么是cookie?

Cookie，指某些網(wǎng)站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數(shù)據(jù)（通常經(jīng)過加密）。

比如說有些網(wǎng)站需要登錄后才能訪問某個頁面，在登錄之前，你想抓取某個頁面內(nèi)容是不允許的。那么我們可以利用Urllib庫保存我們登錄的Cookie，然后再抓取其他頁面,這樣就達到了我們的目的。

一、Urllib庫簡介

Urllib是python內(nèi)置的HTTP請求庫，官方地址：https://docs.python.org/3/library/urllib.html

包括以下模塊：

>>>urllib.request請求模塊

>>>urllib.error異常處理模塊

>>>urllib.parseurl解析模塊

>>>urllib.robotparserrobots.txt解析模塊

二、urllib.request.urlopen介紹

uurlopen一般常用的有三個參數(shù)，它的參數(shù)如下：

urllib.requeset.urlopen(url,data,timeout)

簡單的例子：

1、url參數(shù)的使用（請求的URL）

response=urllib.request.urlopen('http://www.baidu.com')

2、data參數(shù)的使用（以post請求方式請求）

data=bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf8')

response=urllib.request.urlopen('http://www.baidu.com/post',data=data)

3、timeout參數(shù)的使用（請求設(shè)置一個超時時間，而不是讓程序一直在等待結(jié)果）

response=urllib.request.urlopen('http://www.baidu.com/get',timeout=4)

三、構(gòu)造Requset

1、數(shù)據(jù)傳送POST和GET（舉例說明：此處列舉登錄的請求，定義一個字典為values，參數(shù)為：email和password，然后利用urllib.parse.urlencode方法將字典編碼，命名為data，構(gòu)建request時傳入兩個參數(shù)：url、data。運行程序，即可實現(xiàn)登陸。）

GET方式：直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)。

LOGIN_URL="http://fr*****.aflt.kiwisns.com/postLogin/"

values={'email':'*******@user.com','password':'123456'}

data=urllib.parse.urlencode(values).encode()

geturl=LOGIN_URL+"?"+data

request=urllib.request.Request(geturl)

POST方式：上面說的data參數(shù)就是用在這里的，我們傳送的數(shù)據(jù)就是這個參數(shù)data。

LOGIN_URL='http://fr*****.aflt.kiwisns.com/postLogin/'

values={'email':'*******@user.com','password':'123456'}

data=urllib.parse.urlencode(values).encode()

request=urllib.request.Request(URL,data)

2、設(shè)置Headers（有些網(wǎng)站不會同意程序直接用上面的方式進行訪問，如果識別有問題，那么站點根本不會響應(yīng)，所以為了完全模擬瀏覽器的工作，我們需要設(shè)置一些Headers的屬性）