最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python中使用urllib2偽造HTTP報頭的2個方法

 更新時間:2014年07月07日 10:43:58   投稿:junjie  
這篇文章主要介紹了python中使用urllib2偽造HTTP報頭的2個方法,即偽造http頭信息,需要的朋友可以參考下

在采集網(wǎng)頁信息的時候,經(jīng)常需要偽造報頭來實現(xiàn)采集腳本的有效執(zhí)行

下面,我們將使用urllib2的header部分偽造報頭來實現(xiàn)采集信息

方法1、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
#抓取網(wǎng)頁內(nèi)容-發(fā)送報頭-1
url= "http://www.fzitv.net"
send_headers = {
 'Host':'www.fzitv.net',
 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 'Connection':'keep-alive'
}
 
req = urllib2.Request(url,headers=send_headers)
r = urllib2.urlopen(req)
 
html = r.read()        #返回網(wǎng)頁內(nèi)容
receive_header = r.info()     #返回的報頭信息
 
# sys.getfilesystemencoding() 
html = html.decode('utf-8','replace').encode(sys.getfilesystemencoding()) #轉(zhuǎn)碼:避免輸出出現(xiàn)亂碼 
 
print receive_header
# print '####################################'
print html

方法2、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
url = 'http://www.fzitv.net'
 
req = urllib2.Request(url)
req.add_header('Referer','http://www.fzitv.net/')
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0')
r = urllib2.urlopen(req)
 
html = r.read()
receive_header = r.info()
 
html = html.decode('utf-8').encode(sys.getfilesystemencoding())
 
print receive_header
print '#####################################'
print html

您可能感興趣的文章:

相關(guān)文章

  • pandas缺失值np.nan, np.isnan, None, pd.isnull, pd.isna

    pandas缺失值np.nan, np.isnan, None, pd.isnull,&n

    本文主要介紹了pandas缺失值np.nan, np.isnan, None, pd.isnull, pd.isna
    2024-04-04
  • python 進制轉(zhuǎn)換 int、bin、oct、hex的原理

    python 進制轉(zhuǎn)換 int、bin、oct、hex的原理

    這篇文章主要介紹了python 進制轉(zhuǎn)換 int、bin、oct、hex的原理,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-01-01
  • 利用python求解物理學中的雙彈簧質(zhì)能系統(tǒng)詳解

    利用python求解物理學中的雙彈簧質(zhì)能系統(tǒng)詳解

    這篇文章主要給大家介紹了關(guān)于利用python如何求解物理學中的雙彈簧質(zhì)能系統(tǒng)的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧。
    2017-09-09
  • 人工智能-Python實現(xiàn)多項式回歸

    人工智能-Python實現(xiàn)多項式回歸

    這篇文章主要介紹了人工智能-Python實現(xiàn)多項式回歸,上一次我們講解了線性回歸,這次我們重點分析多項式回歸,需要的小伙伴可以參考一下
    2022-01-01
  • Python 安裝第三方庫 pip install 安裝慢安裝不上的解決辦法

    Python 安裝第三方庫 pip install 安裝慢安裝不上的解決辦法

    很多朋友反映在使用pip install安裝python 第三方庫的過程中會出現(xiàn)網(wǎng)速很慢,或者是安裝下載到中途,停止,卡主,或者是下載報錯等問題,下面小編給大家?guī)砹私鉀Q方法,一起看看吧
    2019-06-06
  • python openpyxl提取Excel圖片實現(xiàn)原理技巧

    python openpyxl提取Excel圖片實現(xiàn)原理技巧

    在這篇文章中,將介紹如何使用openpyxl來提取Excel中的圖片,以及它的原理和技巧,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2024-01-01
  • 最新評論

    甘孜县| 新建县| 襄樊市| 湘西| 中方县| 武胜县| 郁南县| 云安县| 临清市| 伊金霍洛旗| 隆安县| 金乡县| 政和县| 方山县| 台南市| 堆龙德庆县| 双江| 永宁县| 象州县| 湘阴县| 启东市| 永靖县| 永安市| 桐梓县| 永定县| 昭平县| 察哈| 永新县| 永宁县| 锡林郭勒盟| 温宿县| 涡阳县| 民丰县| 白河县| 金寨县| 肥城市| 衡阳县| 沾益县| 西盟| 新沂市| 浮梁县|