Python爬蟲scrapy框架Cookie池(微博Cookie池)的使用
下載代碼Cookie池（這里主要是微博登錄，也可以自己配置置其他的站點網(wǎng)址）
下載代碼GitHub：https://github.com/Python3WebSpider/CookiesPool
下載安裝過后注意看網(wǎng)頁下面的相關(guān)基礎(chǔ)配置和操作?。。。。。。。。。。。。?/strong>
自己的設(shè)置主要有下面幾步：
1、配置其他設(shè)置
2、設(shè)置使用的瀏覽器
3、設(shè)置模擬登陸
源碼cookies.py的修改（以下兩處不修改可能會產(chǎn)生bug）：
4、獲取cookie
隨機獲取Cookies： http://localhost:5000/weibo/random（注意：cookie使用時是需要后期處理的?。。?/strong>
簡單的處理方式，如下代碼（偶爾需要對獲取的cookie處理）：
def get_cookie(self):
return requests.get('http://127.0.0.1:5000/weibo/random').text
def stringToDict(self,cookie):
itemDict = {}
items = cookie.replace(':', '=').split(',')
for item in items:
key = item.split('=')[0].replace(' ', '').strip(' "')
value = item.split('=')[1].strip(' "')
itemDict[key] = value
return itemDict
scrapy爬蟲的使用示例（爬取微博）：
middlewares.py中自定義請求中間件
def start_requests(self):
ua = UserAgent()
headers = {
'User-Agent': ua.random,
}
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
yield scrapy.Request(url=self.start_urls[0], headers=headers,
cookies=cookies, callback=self.parse)
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
yield scrapy.Request(url=self.start_urls[0], headers=headers,
cookies=cookies, callback=self.parse)
settings.py 中的配置：
5、錄入賬號和密碼：
格式規(guī)定（賬號----密碼）
6、驗證：（注意：使用cmd）
7、使用時注意保持cmd打開運行??！
使用時一定要打開cmd,并運行如第6步。
得到Cookie是判斷是否處理處理Cookie（幾乎都需要！?。╊惐鹊?步?。?！
到此這篇關(guān)于Python爬蟲scrapy框架Cookie池(微博Cookie池)的使用的文章就介紹到這了,更多相關(guān)scrapy Cookie池內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家詳細介紹了python使用PIL剪切和拼接圖片，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
詳解selenium + chromedriver 被反爬的解決方法
這篇文章主要介紹了詳解selenium + chromedriver 被反爬的解決方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-10-10
self.layers?是一個用于存儲網(wǎng)絡(luò)層的屬性,本文主要介紹了PyTorch中self.layers的使用小結(jié),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-01-01
Pandas 是 python 的一個數(shù)據(jù)分析包，屬于PyData項目的一部分。下面這篇文章主要介紹了Python中科學計算之Pandas,需要的朋友可以參考借鑒，下面來一起學習學習。2017-01-01
這篇文章主要帶大家來復習一下Python基礎(chǔ)中的列表操作，不知道各位還記得多少呢？文中的示例代碼講解詳細，對我們學習Python有一定幫助，需要的可以參考一下2022-11-11
Python基于socket模塊實現(xiàn)UDP通信功能示例
這篇文章主要介紹了Python基于socket模塊實現(xiàn)UDP通信功能,結(jié)合實例形式分析了Python使用socket模塊實現(xiàn)IPV4協(xié)議下的UDP通信客戶端與服務(wù)器端相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
Python畫圖實現(xiàn)同一結(jié)點多個柱狀圖的示例
今天小編就為大家分享一篇Python畫圖實現(xiàn)同一結(jié)點多個柱狀圖的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
Python 數(shù)據(jù)科學 Matplotlib圖庫詳解
Matplotlib 是 Python 的二維繪圖庫，用于生成符合出版質(zhì)量或跨平臺交互環(huán)境的各類圖形。今天通過本文給大家分享Python 數(shù)據(jù)科學 Matplotlib的相關(guān)知識，感興趣的朋友一起看看吧2021-07-07
Tensorflow高性能數(shù)據(jù)優(yōu)化增強工具Pipeline使用詳解
這篇文章主要為大家介紹了Tensorflow高性能數(shù)據(jù)優(yōu)化增強工具Pipeline使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-11-11
Python?matplotlib中更換畫布背景顏色的3種方法
這篇文章主要給大家介紹了關(guān)于Python?matplotlib中更換畫布背景顏色的3種方法,在Matplotlib中,我們可以使用set_facecolor()方法來設(shè)置背景顏色,文中通過圖文以及代碼介紹的非常詳細,需要的朋友可以參考下2023-11-11