python爬蟲常用的模塊分析
本文對(duì)Python爬蟲常用的模塊做了較為深入的分析，并以實(shí)例加以深入說明。分享給大家供大家參考之用。具體分析如下：
creepy模塊
某臺(tái)灣大神開發(fā)的，功能簡單，能夠自動(dòng)抓取某個(gè)網(wǎng)站的所有內(nèi)容，當(dāng)然你也可以設(shè)定哪些url需要抓。
地址：https://pypi.python.org/pypi/creepy
功能接口：
set_content_type_filter:
設(shè)定抓取的content-type（header中的contenttype）。包括text/html
add_url_filter：
過濾url，傳入的可以是正則表達(dá)式
set_follow_mode：
設(shè)定遞歸模式，F(xiàn)_ANY：該頁面上所有鏈接都會(huì)抓取。 F_SAME_DOMAIN和F_SAME_HOST類似。即同一個(gè)域名的都會(huì)抓取。F_SAME_PATH：同一路徑的抓取。例如bag.vancl.com/l1/d3/1.jpg path為l1/d3/1.jpg，則path為l1/d3/*的都會(huì)抓取。這里可以根據(jù)需要增加自己的遞歸模式
set_concurrency_level：
設(shè)定線程最大數(shù)
process_document：
一般需要重寫，處理網(wǎng)頁內(nèi)容，提取自己需要的內(nèi)容。
selenium
可視化界面，抓取自動(dòng)化，api使用超簡單，完全像是自己在操作瀏覽器。
官方網(wǎng)站：http://www.seleniumhq.org/
python官方網(wǎng)站
http://pypi.python.org/pypi/selenium
webdriver api（很好用，建議多了解一下）
http://www.seleniumhq.org/docs/03_webdriver.jsp
以下是一個(gè)抓取凡客網(wǎng)站的例子：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
browser = webdriver.Firefox()
browser.get('http://bag.vancl.com/28145-28167-a18568_18571-b1-n3-s1.html#ref=hp-hp-hot-8_1_1-v:n')
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
time.sleep(1)
print elem.get_attribute("href")
elem.click()
time.sleep(1)
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
print elem.get_attribute("href")
elem.click()
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
- python pickle 和 shelve模塊的用法
- python使用cPickle模塊序列化實(shí)例
- python使用marshal模塊序列化實(shí)例
- python中bisect模塊用法實(shí)例
- Python中itertools模塊用法詳解
- python time模塊用法實(shí)例詳解
- Python常用模塊用法分析
- python中的hashlib和base64加密模塊使用實(shí)例
- python進(jìn)階教程之模塊（module）介紹
- python re正則表達(dá)式模塊(Regular Expression)
- Python Deque 模塊使用詳解
- python實(shí)現(xiàn)通過shelve修改對(duì)象實(shí)例
相關(guān)文章
這篇文章主要介紹了Python獲取當(dāng)前時(shí)間的方法，有需要的朋友可以參考一下2014-01-01
Python3非對(duì)稱加密算法RSA實(shí)例詳解
這篇文章主要介紹了Python3非對(duì)稱加密算法RSA,結(jié)合實(shí)例形式分析了Python3 RSA加密相關(guān)模塊安裝及使用操作技巧,需要的朋友可以參考下2018-12-12
學(xué)習(xí)Python時(shí)，它總能讓人深刻體會(huì)到這款語言的魅力。今天小編為大家?guī)硪粋€(gè)有趣的項(xiàng)目，用Python處理文本數(shù)據(jù)，一起來看看今天的問題吧2022-06-06
下面小編就為大家分享一篇python用戶管理系統(tǒng)的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2017-12-12
Python中用altzone()方法處理時(shí)區(qū)的教程
這篇文章主要介紹了Python中用altzone()方法處理時(shí)區(qū)的教程,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
Python實(shí)現(xiàn)公歷(陽歷)轉(zhuǎn)農(nóng)歷(陰歷)的方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)公歷(陽歷)轉(zhuǎn)農(nóng)歷(陰歷)的方法,涉及農(nóng)歷算法原理及Python日期運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
Matplotlib是Python的第三方繪圖庫,它非常類似于MATLAB,在使用Matplotlib軟件包之前需要對(duì)其進(jìn)行安裝,這篇文章主要給大家介紹了關(guān)于Matplotlib安裝與配置的相關(guān)資料,需要的朋友可以參考下2023-09-09
python 隊(duì)列基本定義與使用方法【初始化、賦值、判斷等】
這篇文章主要介紹了python 隊(duì)列基本定義與使用方法,結(jié)合實(shí)例形式分析了Python隊(duì)列的定義、初始化、賦值、判斷等相關(guān)操作技巧,需要的朋友可以參考下2019-10-10
今天小編就為大家分享一篇pyqt5 刪除layout中的所有widget方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06
python selenium實(shí)現(xiàn)發(fā)送帶附件的郵件代碼實(shí)例
這篇文章主要介紹了python selenium實(shí)現(xiàn)發(fā)送帶附件的郵件代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12