Python爬蟲爬取商品失敗處理方法
更新時間：2021年08月05日 08:28:56 作者：py
在本篇文章里小編給大家整理了一篇關于Python爬蟲爬取商品失敗處理方法，有興趣的朋友們可以學習參考下。
1.登陸網(wǎng)站，開啟開發(fā)者模式。
可以在瀏覽器中點擊右鍵檢查或者F12打開開發(fā)者模式。
2.點選 NetWork，DOC，然后刷新頁面。
在 network 中選擇 doc，在請求的 headers 中搜索 cookie。
3.獲取對應的 cookie 以及 user-agent。
4.在代碼中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
實例擴展：
程序的結構設計
- 提交商品搜索請求，循環(huán)獲取頁面
- 對于每個頁面，提取商品名稱和價格信息
- 將信息輸出
遇到問題
爬取成功，數(shù)據(jù)有問題
打印 html 文件，返回如下
<script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "請?zhí)顚戀~戶名",
ERROR_PASSWORD_BLANK: "請輸入密碼",
ERROR_NICK_PASSWORD_BLANK: "請輸入賬戶名和密碼",
ERROR_CHECKCODE_BLANK: "請輸入驗證碼",
TIPS_REMEMBER_PASSWORD: "記住密碼",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計算機記住密碼，防止賬戶被盜"
};
</script>
到此這篇關于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關Python爬蟲爬取商品失敗內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了如何用python將單引號替換為雙引號，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
這篇文章主要介紹了python制作最美應用的爬蟲的相關資料,需要的朋友可以參考下2015-10-10
這篇文章主要介紹了Python實現(xiàn)單詞拼寫檢查,本文講解了單詞拼寫檢查的一些知識并給出兩種實現(xiàn)方法,需要的朋友可以參考下2015-04-04
pyhton Sanic框架的文件上傳功能開發(fā)實戰(zhàn)示例教程
Sanic是一個Python 3.5+的異步Web框架,它的設計理念與Flask相似,但采用了更高效的異步I/O處理,在處理文件上傳時,Sanic同樣提供了方便、高效的方法,本教程將結合實際案例,詳細介紹如何在Sanic框架中實現(xiàn)文件上傳的功能,感興趣的朋友跟隨小編一起看看吧2024-08-08
Tensorflow: 從checkpoint文件中讀取tensor方式
今天小編就為大家分享一篇Tensorflow: 從checkpoint文件中讀取tensor方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python+selenium實現(xiàn)瀏覽器基本操作詳解
這篇文章主要為大家詳細介紹了如何通過python腳本實現(xiàn)瀏覽器的一些基本操作，如：瀏覽器的前進后退、頁面刷新等，感興趣的可以學習一下2022-06-06
Python數(shù)學建模StatsModels統(tǒng)計回歸模型數(shù)據(jù)的準備
這篇文章主要介紹了Python數(shù)學建模StatsModels統(tǒng)計回歸模型數(shù)據(jù)的準備學習，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2021-10-10
這篇文章主要為大家詳細介紹了Python實現(xiàn)猜數(shù)字游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-02-02
Python標準庫datetime之datetime模塊用法分析詳解
這篇文章主要介紹了Python標準庫datetime之datetime模塊用法分析詳解，文章圍繞主題展開詳細的內容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-07-07
這篇文章主要介紹了Python with語句和過程抽取思想,本文給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2019-12-12