python小技巧之批量抓取美女圖片
其中用到urllib2模塊和正則表達(dá)式模塊。下面直接上代碼：
[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通過urllib(2)模塊下載網(wǎng)絡(luò)內(nèi)容
import urllib,urllib2,gevent
#引入正則表達(dá)式模塊，時(shí)間模塊
import re,time
from gevent import monkey
monkey.patch_all()
def geturllist(url):
url_list=[]
print url
s = urllib2.urlopen(url)
text = s.read()
#正則匹配，匹配其中的圖片
html = re.search(r'<ol.*</ol>', text, re.S)
urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
for i in urls:
url=i.group(1).strip()+str("jpg")
url_list.append(url)
return url_list
def download(down_url):
name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
print name
urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
def getpageurl():
page_list = []
#進(jìn)行列表頁循環(huán)
for page in range(1,700):
url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
#把生成的url加入到page_list中
page_list.append(url)
print page_list
return page_list
if __name__ == '__main__':
jobs = []
pageurl = getpageurl()[::-1]
#進(jìn)行圖片下載
for i in pageurl:
for (downurl) in geturllist(i):
jobs.append(gevent.spawn(download, downurl))
gevent.joinall(jobs)
[/code]
程序不長(zhǎng)才45行，不是太難，大家可以研究下，這里我只是拋磚引玉，大家可以根據(jù)原理開發(fā)出其他的抓取程序，呵呵，自己想去吧。。。我就不多說了~~
相關(guān)文章
本文主要介紹了幾種在Python忽略警告信息的方法,,可以使用Python 內(nèi)置的警告控制機(jī)制來抑制特定類型的警告,下面就來介紹一下,感興趣的可以了解一下2025-01-01
Python?運(yùn)算符通常用于對(duì)值和變量執(zhí)行操作。這些是用于邏輯和算術(shù)運(yùn)算的標(biāo)準(zhǔn)符號(hào)。在本文中，我們將研究不同類型的?Python?運(yùn)算符，感興趣的可以了解一下2022-09-09
numpy數(shù)組做圖片拼接的實(shí)現(xiàn)（concatenate、vstack、hstack）
這篇文章主要介紹了numpy數(shù)組做圖片拼接的實(shí)現(xiàn)（concatenate、vstack、hstack），文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
Python圖形用戶界面與游戲開發(fā)實(shí)例詳解
GUI是圖形用戶界面的縮寫,圖形化的用戶界面對(duì)使用過計(jì)算機(jī)的人來說應(yīng)該都不陌生,下面這篇文章主要給大家介紹了關(guān)于Python圖形用戶界面與游戲開發(fā)的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
這篇文章主要介紹了Python操作Jira庫常用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
這篇文章主要給大家介紹了關(guān)于用python進(jìn)行線性/非線性擬合的三種方法,數(shù)據(jù)分析中經(jīng)常會(huì)使用到數(shù)據(jù)擬合,文中通過實(shí)例代碼以及圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07
Django ModelSerializer實(shí)現(xiàn)自定義驗(yàn)證的使用示例
本文主要介紹了Django ModelSerializer實(shí)現(xiàn)自定義驗(yàn)證的使用示例,多種字段驗(yàn)證器幫助開發(fā)者確保數(shù)據(jù)的完整性和準(zhǔn)確性,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11
這篇文章主要為大家詳細(xì)介紹了Python+OpenCV人臉檢測(cè)原理及示例，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-12-12
這篇文章主要介紹了python-docx的簡(jiǎn)單使用，本文通過示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-05-05
在Python編程中運(yùn)算符是用于執(zhí)行各種操作的特殊符號(hào)或關(guān)鍵字,下面這篇文章主要給大家介紹了關(guān)于Python中8種運(yùn)算符介紹以及示例的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2024-02-02