python使用自定義user-agent抓取網頁的方法
更新時間：2015年04月15日 11:43:56 作者：令狐不聰
這篇文章主要介紹了python使用自定義user-agent抓取網頁的方法,涉及Python使用urllib2模塊操作網頁的技巧,需要的朋友可以參考下
本文實例講述了python使用自定義user-agent抓取網頁的方法。分享給大家供大家參考。具體如下：
下面python代碼通過urllib2抓取指定的url的內容，并且使用自定義的user-agent，可防止網站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述對大家的Python程序設計有所幫助。
相關文章
這篇文章主要介紹了python 利用pyttsx3文字轉語音過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
文章給大家分享了關于python爬蟲的相關實例以及相關代碼，有興趣的朋友們參考下。2018-07-07
使用python將mdb數據庫文件導入postgresql數據庫示例
mdb格式文件可以通過mdbtools工具將內中包含的每張表導出到csv格式文件。由于access數據庫和postgresQL數據庫格式上會存在不通性，所以使用python的文件處理，將所得csv文件修改成正確、能識別的格式2014-02-02
Pytorch 實現focal_loss 多類別和二分類示例
今天小編就為大家分享一篇Pytorch 實現focal_loss 多類別和二分類示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
Python RuntimeError: thread.__init__() not called解決方法
這篇文章主要介紹了Python RuntimeError: thread.__init__() not called解決方法,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了pytorch創(chuàng)建tensor函數詳情，文章圍繞tensor函數的相關自來哦展開詳細內容的介紹，需要的小伙伴可以參考一下，希望對你有所幫助2022-03-03
從零學python系列之新版本導入httplib模塊報ImportError解決方案
在使用新版python打開舊版本代碼的時候，可能會有些報錯或者不兼容的情況出現，今天我們就來分析其中的一種情況2014-05-05
本文主要介紹了全面理解python命名空間字典,python的命名空間由字典實現,屬性為鍵,對象為值,通過屬性找到對象,下面就來具體了解一下,感興趣的可以了解一下2023-12-12
這篇文章主要介紹了使用python實現三維圖可視化，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
這篇文章主要介紹了Python中使用MELIAE分析程序內存占用實例,本文直接給出使用代碼示例,需要的朋友可以參考下2015-02-02