python爬蟲遇到403錯(cuò)誤的問題及解決
python爬蟲遇到403錯(cuò)誤
這段時(shí)間我很想去p站爬一爬，之前有試過，但都失敗了，有一次用phantomJS嘗試，結(jié)果卡死在登錄頁面，太復(fù)雜了。
有一次卡死在編碼上，一直無法獲取到頁面。
這次是卡死在403上，我獲取了圖片的鏈接，正要下載時(shí)彈出403錯(cuò)誤，圖片在瀏覽器上也打不開，我還以為是網(wǎng)站把我的ip封掉了，就放棄了，后來聽一位大神說，有的時(shí)候需要向網(wǎng)頁發(fā)送一些請(qǐng)求頭吃才能下載東西（我是第一次聽說urllib.request.urltrieve也能添加請(qǐng)求頭）真是長見識(shí)了。
經(jīng)過自己的摸索，發(fā)現(xiàn)在p站下載高清大圖需要給服務(wù)器發(fā)送一個(gè)”Referer”參數(shù)，用來告訴服務(wù)器你是從哪個(gè)網(wǎng)址進(jìn)入圖片鏈接的。
而且p站的圖片頁沒有單獨(dú)的json文件加載，它的json數(shù)據(jù)全存在html文件里，真是見了鬼（我還以為那段代碼是亂碼）。
p站還是牛逼啊，我大概花了兩天時(shí)間才搞懂這些。
代碼：
import urllib.request
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
url = "https://i.pximg.net/img-original/img/2016/12/25/05/10/36/60541651_p0.jpg"
opener = urllib.request.build_opener()
opener.addheaders=[('Referer', "https://www.pixiv.net/member_illust.php?mode=medium&illust_id=60541651")]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(url,"E://miku.jpg")
python爬蟲代碼錯(cuò)誤的解決
在做數(shù)據(jù)抓取的時(shí)候經(jīng)常會(huì)遇到各種各樣的問題，這些問題就是新手小白經(jīng)常會(huì)遇到的代碼問題。
1、爬取https的網(wǎng)站或是接口的時(shí)候，如果是不受信用的SSL證書，會(huì)報(bào)錯(cuò)，需要添加如下代碼
如下代碼可以保證當(dāng)前代碼塊內(nèi)所有的請(qǐng)求都自動(dòng)屏蔽ssl證書問題：
import ssl # 這個(gè)是爬取https的鏈接需要的，以及下面一行代碼 ssl._create_default_https_context = ssl._create_unverified_context
2、爬取jsonp的接口，返回的數(shù)據(jù)需要?jiǎng)h除callback名字和最外層括號(hào)，可以通過以下方式過濾：
text方法將取得的數(shù)據(jù)轉(zhuǎn)為文本，然后re.match將字符串過濾掉callback名字和最外層括號(hào)，留下原本json部分的數(shù)據(jù)，然后通過json.loads將過濾出來的json轉(zhuǎn)為python對(duì)象
import re
getOneSongInfoCallback=json.loads(re.match(".*?({.*}).*", requests.get(url, headers=headers).text)[1])
3、獲取請(qǐng)求的地址后面跟的參數(shù)的方法，如下方式得到qs就可以進(jìn)一步直接獲取自己想要的參數(shù)值：
import urllib.parse as parse parse_query=parse.urlparse(url).query qs=parse.parse_qs(parse_query)
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python百行代碼自制電腦端網(wǎng)速懸浮窗的實(shí)現(xiàn)
這篇文章主要介紹了python百行代碼自制電腦端網(wǎng)速懸浮窗的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
一篇文章從零開始創(chuàng)建conda環(huán)境、常用命令的使用及pycharm配置項(xiàng)目環(huán)境
在Conda中創(chuàng)建新環(huán)境是一個(gè)非常有用的做法,尤其是當(dāng)你需要為不同的項(xiàng)目安裝不同版本的軟件包時(shí),這篇文章主要給大家介紹了關(guān)于從零開始創(chuàng)建conda環(huán)境、常用命令的使用及pycharm配置項(xiàng)目環(huán)境的相關(guān)資料,需要的朋友可以參考下2024-07-07
在音頻處理領(lǐng)域,背景噪聲是一個(gè)常見的問題,為了提高音頻的質(zhì)量,我們需要對(duì)音頻進(jìn)行降噪處理,本文將介紹如何使用 Python 實(shí)現(xiàn)音頻降噪,文中通過代碼示例講解的非常詳細(xì),需要的朋友可以參考下2024-11-11
matlab和Excel的數(shù)據(jù)交互操作(非xlsread和xlswrite)
在使用MATLAB時(shí),可能會(huì)遇到很多表格數(shù)據(jù)的處理,有時(shí)MATLAB也需要利用現(xiàn)存的表格數(shù)據(jù)實(shí)現(xiàn)操作目的,下面這篇文章主要給大家介紹了關(guān)于matlab和Excel的交互操作的相關(guān)資料,非xlsread和xlswrite,需要的朋友可以參考下2021-08-08
Python 高級(jí)庫15 個(gè)讓新手愛不釋手(推薦)
對(duì)于初學(xué)者來說，這是一種簡(jiǎn)單易學(xué)的編程語言；另一個(gè)原因：大量開箱即用的第三方庫，正是 23 萬個(gè)由用戶提供的軟件包使得 Python 真正強(qiáng)大和流行，本文給大家分享15 個(gè)讓新手愛不釋手Python 高級(jí)庫的相關(guān)知識(shí)，感興趣的朋友一起看看吧2021-05-05
Python 基礎(chǔ)之字符串string詳解及實(shí)例
這篇文章主要介紹了Python 字符串(string) 的相關(guān)資料,需要的朋友可以參考下2017-04-04
tensorflow 環(huán)境變量設(shè)置方式
今天小編就為大家分享一篇tensorflow 環(huán)境變量設(shè)置方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-02-02
本文給大家介紹了Python的pathlib 模塊，為 Python 工程師對(duì)該模塊的使用提供了支撐，讓大家了解如何使用 pathlib 模塊讀寫文件、操縱文件路徑和基礎(chǔ)文件系統(tǒng)，統(tǒng)計(jì)目錄下的文件類型以及查找匹配目錄下某一類型文件等，需要的朋友參考下吧2023-05-05
在本篇文章里我們給大家分享了關(guān)于用Python逐行分析文件方法知識(shí)點(diǎn)，有需要的朋友們跟著學(xué)習(xí)下。2019-01-01
解決TensorFlow訓(xùn)練模型及保存數(shù)量限制的問題
這篇文章主要介紹了解決TensorFlow訓(xùn)練模型及保存數(shù)量限制的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03