基于python 爬蟲爬到含空格的url的處理方法
道友問我的一個(gè)問題，之前確實(shí)沒遇見過，在此記錄一下。
問題描述
在某網(wǎng)站主頁提取url進(jìn)行迭代，爬蟲請(qǐng)求主頁時(shí)沒有問題，返回正常，但是在訪問在主頁提取到的url時(shí)出現(xiàn)了400狀態(tài)碼(400 Bad Request)。
結(jié)論
先貼出結(jié)論來，如果url里有空格的話，要把空格替換成%20，也就是url編碼，否則就會(huì)出現(xiàn)400。
解決過程
首先百度了一下400狀態(tài)碼什么意思：
400頁面是當(dāng)用戶在打開網(wǎng)頁時(shí)，返回給用戶界面帶有400提示符的頁面。其含義是你訪問的頁面域名不存在或者請(qǐng)求錯(cuò)誤。
主要有兩種形式：
1、bad request意思是“錯(cuò)誤的請(qǐng)求”；
2、invalid hostname意思是”不存在的域名”。
所以說問題應(yīng)該是出在了url上，我懷疑是他的url提取邏輯有問題，于是讓他把url打印一下看看，他說看不出什么問題。
然后我就把他代碼要了過來，自己調(diào)調(diào)試試，發(fā)現(xiàn)前幾個(gè)子url是訪問正常的，但是其中一個(gè)出現(xiàn)了400，那個(gè)url如下：
http://www.qichacha.com/company_getinfos?unique=4d5ad1bc15ddc4ad9873e5b0ff4f93d3&companyname=意大利C.D.VIDEO S.P.A.深圳代表處&tab=base
下面是一個(gè)訪問正常的url：
http://www.qichacha.com/company_getinfos?unique=f6aa78d2e9f4b0bc98103785f96c1353&companyname=深圳市聯(lián)得自動(dòng)化裝備股份有限公司&tab=base
我首先把這個(gè)url復(fù)制到瀏覽器，發(fā)現(xiàn)可以正常訪問，然后就留神了一下瀏覽器上url的變化，發(fā)現(xiàn)空格變成了%20，在代碼里把url中的空格都替換成%20后，
程序訪問也正常了。
問題解決。
啟示
以后做爬蟲，對(duì)于不可預(yù)測(cè)的不規(guī)律的請(qǐng)求，在發(fā)請(qǐng)求之前先把url進(jìn)行url編碼，以免出現(xiàn)這種錯(cuò)誤。
這篇基于python 爬蟲爬到含空格的url的處理方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python xlwt如何設(shè)置單元格的自定義背景顏色
這篇文章主要介紹了python xlwt如何設(shè)置單元格的自定義背景顏色,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
解決Python訪問MySQL數(shù)據(jù)庫速度慢的問題
這篇文章主要介紹了解決Python訪問MySQL數(shù)據(jù)庫速度慢的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-04-04
Python搭建代理IP池實(shí)現(xiàn)接口設(shè)置與整體調(diào)度
這篇文章主要介紹了Python搭建代理IP池實(shí)現(xiàn)接口設(shè)置與整體調(diào)度，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
本文給大家介紹的是在Python中調(diào)用fortran代碼，主要是用到了f2py這個(gè)程序，十分的實(shí)用，有需要的小伙伴可以參考下2016-04-04
在Python開發(fā)中,編寫可重用的工具類和通用的異常處理機(jī)制是提高代碼質(zhì)量和開發(fā)效率的關(guān)鍵,本文將介紹如何將特定的異常類改寫為更通用的ValidationException,并創(chuàng)建一個(gè)通用的工具類Utils,需要的可以參考下2024-12-12
在Python中,多線程編程是一個(gè)常見需求,尤其是在處理I/O密集型任務(wù)時(shí),然而,多線程環(huán)境下保持任務(wù)執(zhí)行結(jié)果的順序通常較為復(fù)雜,為了解決這一問題,可以通過封裝一個(gè)功能來確保即使在多線程環(huán)境下,任務(wù)的執(zhí)行結(jié)果也能按照一定的順序進(jìn)行收集和處理2024-09-09
在本篇文章里小編給大家整理的是關(guān)于為什么說python更適合樹莓派編程的相關(guān)文章，需要的朋友們可以參考學(xué)習(xí)下。2020-07-07
python2.6版本中后引入的一個(gè)簡單的繪圖工具，叫做海龜繪圖(Turtle Graphics),出現(xiàn)在1966年的Logo計(jì)算機(jī)語言。海龜繪圖（turtle庫）是python的內(nèi)部模塊,使用前導(dǎo)入即可。本文就帶大家深入了解一下海龜繪圖，快來跟隨小編一起學(xué)習(xí)吧2021-12-12
python自動(dòng)化腳本安裝指定版本python環(huán)境詳解
這篇文章主要為大家詳細(xì)介紹了python自動(dòng)化腳本安裝指定版本python環(huán)境的相關(guān)方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-09-09
Python?Flask中Cookie和Session區(qū)別詳解
Flask是一個(gè)使用?Python?編寫的輕量級(jí)?Web?應(yīng)用框架。其?WSGI?工具箱采用?Werkzeug?，模板引擎則使用?Jinja2?。Flask使用?BSD?授權(quán)。Flask也被稱為?“microframework”?，因?yàn)樗褂煤唵蔚暮诵?，?extension?增加其他功能，F(xiàn)lask中Cookie和Session有什么區(qū)別呢2022-07-07