python訪問(wèn)抓取網(wǎng)頁(yè)常用命令總結(jié)
更新時(shí)間：2017年04月11日 15:34:37 投稿：lqh
這篇文章主要介紹了python訪問(wèn)抓取網(wǎng)頁(yè)常用命令的相關(guān)資料,需要的朋友可以參考下
python訪問(wèn)抓取網(wǎng)頁(yè)常用命令
簡(jiǎn)單的抓取網(wǎng)頁(yè):
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件對(duì)象 page=response.read()
直接將URL保存為本地文件：
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件對(duì)象 page=response.read()
POST方式：
import urllib.parse
import urllib.request
url="http://liuxin-blog.appspot.com/messageboard/add"
values={"content":"命令行發(fā)出網(wǎng)頁(yè)請(qǐng)求測(cè)試"}
data=urllib.parse.urlencode(values)
#創(chuàng)建請(qǐng)求對(duì)象
req=urllib.request.Request(url,data)
#獲得服務(wù)器返回的數(shù)據(jù)
response=urllib.request.urlopen(req)
#處理數(shù)據(jù)
page=response.read()
GET方式：
import urllib.parse
import urllib.request
url="http://www.google.cn/webhp"
values={"rls":"ig"}
data=urllib.parse.urlencode(values)
theurl=url+"?"+data
#創(chuàng)建請(qǐng)求對(duì)象
req=urllib.request.Request(theurl)
#獲得服務(wù)器返回的數(shù)據(jù)
response=urllib.request.urlopen(req)
#處理數(shù)據(jù)
page=response.read()
有2個(gè)常用的方法,geturl(),info()
geturl()的設(shè)置是為了辨別是否有服務(wù)器端的網(wǎng)址重定向,而info()則包含了一系列的信息。
中文問(wèn)題的處理，會(huì)用到 encode()編碼 dencode()解碼：
感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！
您可能感興趣的文章:
- python并發(fā)編程之多進(jìn)程、多線程、異步和協(xié)程詳解
- Python控制多進(jìn)程與多線程并發(fā)數(shù)總結(jié)
- python實(shí)現(xiàn)多線程的方式及多條命令并發(fā)執(zhí)行
- python多線程threading.Lock鎖用法實(shí)例
- 詳解Python中的多線程編程
- 淺析Python中的多進(jìn)程與多線程的使用
- 基python實(shí)現(xiàn)多線程網(wǎng)頁(yè)爬蟲
- Python threading多線程編程實(shí)例
- python實(shí)現(xiàn)用于測(cè)試網(wǎng)站訪問(wèn)速率的方法
- Python的Django應(yīng)用程序解決AJAX跨域訪問(wèn)問(wèn)題的方法
- Python實(shí)現(xiàn)多并發(fā)訪問(wèn)網(wǎng)站功能示例
相關(guān)文章
今天小編就為大家分享一篇用python畫一只可愛(ài)的皮卡丘實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
這篇文章主要介紹了python Polars庫(kù)的使用簡(jiǎn)介，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
詳解Python logging調(diào)用Logger.info方法的處理過(guò)程
這篇文章主要介紹了詳解Python logging調(diào)用Logger.info方法的處理過(guò)程，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-02-02
說(shuō)到日志，我們完全可以想象為現(xiàn)實(shí)生活中的日記。日記是我們平時(shí)記錄我們生活中點(diǎn)點(diǎn)滴滴的一種方法，而日志我們可以認(rèn)為是 程序的日記 ，程序的日記是用來(lái)記錄程序的行為。本文將詳細(xì)介紹Python中的日志模塊(logging)，需要的可以參考一下2022-03-03
Python實(shí)現(xiàn)文件按照日期命名的方法
這篇文章主要介紹了Python實(shí)現(xiàn)文件按照日期命名的方法,涉及Python針對(duì)文件的遍歷、讀寫及時(shí)間操作相關(guān)技巧,需要的朋友可以參考下2015-07-07
Python unittest單元測(cè)試框架實(shí)現(xiàn)參數(shù)化
這篇文章主要介紹了Python unittest單元測(cè)試框架實(shí)現(xiàn)參數(shù)化,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了Python短信轟炸的代碼，代碼簡(jiǎn)單易懂，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了python高效的素?cái)?shù)判斷算法，研究算法的同學(xué)一定要看一下2021-04-04
解決python opencv無(wú)法顯示圖片的問(wèn)題
今天小編就為大家分享一篇解決python opencv無(wú)法顯示圖片的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
BeautifulSoup中find和find_all的使用詳解
這篇文章主要介紹了BeautifulSoup中find和find_all的使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12