python制作花瓣網(wǎng)美女圖片爬蟲
更新時間：2015年10月28日 09:20:04 投稿：hebedich
本文通過python 來實(shí)現(xiàn)這樣一個簡單的爬蟲功能，把我們想要的圖片爬取到本地,需要的朋友可以參考下
花瓣圖片的加載使用了延遲加載的技術(shù)，源代碼只能下載20多張圖片，修改后基本能下載所有的了，只是速度有點(diǎn)慢，后面再優(yōu)化下
import urllib, urllib2, re, sys, os,requests
path=r"C:\wqa\beautify"
url = 'http://huaban.com/favorite/beauty'
#http://huaban.com/explore/zhongwenlogo/?ig1un9tq&max=327773629&limit=20&wfl=1
i_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"}
count=0
def urlHandle(url):
req = urllib2.Request(url, headers=i_headers)
html = urllib2.urlopen(req).read()
reg = re.compile(r'"pin_id":(\d+),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"', re.S)
groups = re.findall(reg, html)
return groups
def imgHandle(groups):
if groups:
for att in groups:
pin_id = att[0]
att_url = att[1] + '_fw236'
img_type = att[2]
img_url = 'http://img.hb.aicdn.com/' + att_url
r = requests.get(img_url)
with open(path + att_url + '.' + img_type, 'wb') as fd:
for chunk in r.iter_content():
fd.write(chunk)
groups = urlHandle(url)
imgHandle(groups)
while(groups):
count+=1
print count
pin_id = groups[-1][0]
print pin_id
urltemp = url+'/?max=' + str(pin_id) + '&limit=' + str(20) + '&wfl=1'
print(urltemp)
groups = urlHandle(urltemp)
#print groups
imgHandle(groups)
相關(guān)文章
OCR（Optical character recognition，光學(xué)字符識別）是一種將圖像中的手寫字或者印刷文本轉(zhuǎn)換為機(jī)器編碼文本的技術(shù),下面這篇文章主要給大家介紹了關(guān)于python?ocr簡單示例之識別驗(yàn)證碼的相關(guān)資料,需要的朋友可以參考下2023-01-01
Django實(shí)現(xiàn)增刪改查,主要是依賴于models來實(shí)現(xiàn)的,下面這篇文章主要給大家介紹了關(guān)于Django完整增刪改查系統(tǒng)的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-08-08
Python爬蟲eval實(shí)現(xiàn)看漫畫漫畫柜mhgui實(shí)戰(zhàn)分析
這篇文章主要為大家介紹了Python爬蟲eval實(shí)現(xiàn)看漫畫漫畫柜mhgui實(shí)戰(zhàn)分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
python實(shí)現(xiàn)windows下文件備份腳本
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)windows下文件備份的腳本，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05
python分塊讀取大數(shù)據(jù),避免內(nèi)存不足的方法
今天小編就為大家分享一篇python分塊讀取大數(shù)據(jù),避免內(nèi)存不足的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
pytorch模型的定義、修改、讀取、斷點(diǎn)續(xù)訓(xùn)深入解析
模型定義是深度學(xué)習(xí)中重要的一環(huán),PyTorch提供了強(qiáng)大而靈活的工具和函數(shù),使我們能夠輕松定義各種類型的深度學(xué)習(xí)模型,通過深入理解模型定義的原理和應(yīng)用,我們能夠更好地理解和設(shè)計(jì)自己的模型,從而提升深度學(xué)習(xí)任務(wù)的性能和效果2024-03-03
在本篇文章里小編給大家整理了關(guān)于下載官網(wǎng)python并安裝的步驟詳解，需要的朋友們參考學(xué)習(xí)下。2019-10-10
Python創(chuàng)建文件和追加文件內(nèi)容實(shí)例
這篇文章主要介紹了Python創(chuàng)建文件和追加文件內(nèi)容實(shí)例,本文同時給出了把標(biāo)準(zhǔn)輸出定向到文件實(shí)例,需要的朋友可以參考下2014-10-10
Python通過Geopandas實(shí)現(xiàn)地理空間數(shù)據(jù)可視化
Geopandas是一個功能強(qiáng)大的Python庫,它擴(kuò)展了Pandas的功能,專門用于地理空間數(shù)據(jù)的處理和分析,下面我們來看看如何使用Geopandas進(jìn)行地理空間數(shù)據(jù)可視化吧2025-03-03
今天小編就為大家分享一篇python自動識別文本編碼格式代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12