python實現(xiàn)從web抓取文檔的方法
更新時間：2014年09月26日 09:28:02 投稿：shichen2014
這篇文章主要介紹了python實現(xiàn)從web抓取文檔的方法,以抓取人人網(wǎng)頁面為例講述了完整的web文檔抓取方法,需要的朋友可以參考下
本文實例講述了Python實現(xiàn)從Web的一個URL中抓取文檔的方法，分享給大家供大家參考。具體方法分析如下：
實例代碼如下：
import urllib
doc = urllib.urlopen("http://www.python.org").read()
print doc#直接打印出網(wǎng)頁
def reporthook(*a):
print a
#將http://www.renren.com網(wǎng)頁保存到renre.html中，
#每讀取一個塊調(diào)用一字reporthook函數(shù)
urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook)
#將http://www.renren.com網(wǎng)頁保存到renre.html中
urllib.urlretrieve("http://www.renren.com",'renren.html')
程序運行結(jié)果如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> ..........................網(wǎng)頁內(nèi)容 </body> </html> (0, 8192, -1) (1, 8192, -1) (2, 8192, -1)
其中urllib.urlopen返回一個類文件對象。
希望本文所述對大家的Python程序設(shè)計有所幫助。
您可能感興趣的文章:
- python實現(xiàn)udp數(shù)據(jù)報傳輸?shù)姆椒?/a>
- python使用Berkeley DB數(shù)據(jù)庫實例
- python實現(xiàn)在pickling的時候壓縮的方法
- python使用marshal模塊序列化實例
- python中類的一些方法分析
- python實現(xiàn)獲取序列中最小的幾個元素
- python中bisect模塊用法實例
- python實現(xiàn)給字典添加條目的方法
- python實現(xiàn)忽略大小寫對字符串列表排序的方法
- python對字典進行排序?qū)嵗?/a>
- python實現(xiàn)在無須過多援引的情況下創(chuàng)建字典的方法
- python求眾數(shù)問題實例
相關(guān)文章
使用Python創(chuàng)建簡單的HTTP服務(wù)器的方法步驟
這篇文章主要介紹了使用Python創(chuàng)建簡單的HTTP服務(wù)器的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04
這篇文章主要介紹了Python3爬樓梯算法,涉及Python基于面向?qū)ο蟮淖址闅v、切片、運算等相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
在本篇文章里小編給大家分享了一篇關(guān)于python3中布局背景顏色代碼分析的相關(guān)內(nèi)容，有興趣的朋友們可以學習參考下。2020-12-12
Python + selenium + requests實現(xiàn)12306全自動搶票及驗證碼破解加自動點擊功能
這篇文章主要介紹了Python + selenium + requests實現(xiàn)12306全自動搶票及驗證碼破解加自動點擊功能,需要的朋友可以參考下2018-11-11
Python實現(xiàn)數(shù)據(jù)可視化看如何監(jiān)控你的爬蟲狀態(tài)【推薦】
今天主要是來說一下怎么可視化來監(jiān)控你的爬蟲的狀態(tài)。文中通過實例代碼給大家分析了Python實現(xiàn)數(shù)據(jù)可視化看如何監(jiān)控你的爬蟲狀態(tài)，感興趣的朋友一起看看吧2018-08-08
這篇文章主要介紹了使用Python更換外網(wǎng)IP的方法，，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-07-07
這篇文章主要為大家詳細介紹了python單向鏈表實例，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-05-05
這篇文章主要介紹了Python實現(xiàn)備份文件的方法,可實現(xiàn)針對各類常見擴展名的文件進行備份的功能,需要的朋友可以參考下2014-09-09
Python實現(xiàn)監(jiān)控遠程主機實時數(shù)據(jù)的示例詳解
這篇文章主要為大家詳細介紹了Python如何使用Socket庫和相應(yīng)的第三方庫來監(jiān)控遠程主機的實時數(shù)據(jù)，比如CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬等，感興趣的可以了解一下2023-04-04
這篇文章主要介紹了python 魔法函數(shù)實例及解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09