簡單的Python抓taobao圖片爬蟲
更新時間：2014年10月26日 14:54:50 投稿：hebedich
這篇文章主要介紹了簡單的Python抓taobao圖片爬蟲,需要的朋友可以參考下
寫了一個抓taobao圖片的爬蟲，全是用if，for，while寫的，比較簡陋，入門作品。
從網頁http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。
復制代碼 代碼如下:
# -*- coding: cp936 -*-
import urllib2
import urllib
mmurl=" i=0#第二頁有個人的頁面沒圖片,會出現(xiàn)IO錯誤
while i<15:
url=mmurl+str(i)
#print url #打印出列表的url
up=urllib2.urlopen(url)#打開頁面，存入句柄中
cont=up.read()
#print len(cont)#頁面的長度
ahref='<a href="http'#篩選頁面內網頁鏈接的關鍵字
target="target"
pa=cont.find(ahref)#找出網頁鏈接的頭部位置
pt=cont.find(target,pa)#找出網頁鏈接的尾部位置
for a in range(0,20):#如才能不把20硬編碼進去？如何找到文件結尾？
urlx=cont[pa+len(ahref)-4:pt-2]#從頭部到尾部，將網頁鏈接存入變量
if len(urlx) < 60:#如果網頁鏈接長度適合【len（）?。。?！】
urla=urlx #那么就準備將其打印出來
print urla #這是想要的model個人URL
#########以下開始對model個人的URL進行操作#########
mup=urllib2.urlopen(urla)#打開model個人的頁面，存入句柄中
mcont=mup.read()#對model頁面的句柄進行讀出操作，存入mcont字符串
imgh="<img style=" #篩選頁面內【圖片】鏈接的關鍵字
imgt=".jpg"
iph=mcont.find(imgh)#找出【圖片】鏈接的頭部位置
ipt=mcont.find(imgt,iph)#找出【圖片】鏈接的尾部位置
for b in range(0,10):#又是硬編碼····
mpic=mcont[iph:ipt+len(imgt)]#原始圖片鏈接，鏈接字符的噪聲太大
iph1=mpic.find("http")#對上面的鏈接再過濾一次
ipt1=mpic.find(imgt) #同上
picx=mpic[iph1:ipt1+len(imgt)]
if len(picx)<150:#仍有一些URL是“http：ss.png><dfsdf>.jpg”(設為100竟然會誤傷)
pica=picx #【是len(picx)<100而不是picx!!】不然會不顯示
print pica
############################
###########開始下載pica這個圖片
urllib.urlretrieve(pica,"pic\\tb"+str(i)+"x"+str(a)+"x"+str(b)+".jpg")
########### pica圖片下載完畢.(加上各循環(huán)體的數字，以免名字重復)
############################
iph=mcont.find(imgh,iph+len(imgh))#開始下一個循環(huán)
ipt=mcont.find(imgt,iph)
############model個人URL內的【圖片鏈接】提取完畢##########
pa=cont.find(ahref,pa+len(ahref))#將原來的頭部位作為起始點，繼續(xù)向后找下一個頭部
pt=cont.find(target,pa)#繼續(xù)找下一個尾部
i+=1
相關文章
有時候我們需要記錄一個程序運行的時間,下面這篇文章主要給大家介紹了關于使用Python統(tǒng)計代碼運行時間的兩種方法,文中通過圖文以及示例代碼介紹的非常詳細,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了Pytorch深度學習經典卷積神經網絡resnet模塊訓練，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
數據泄露已經成為一個嚴重的問題,為了保護用戶和公司的隱私,給文件夾加密已經成為一個必要的步驟,本文主要介紹了Python給文件夾加解密的實現(xiàn),感興趣的可以了解一下2023-11-11
說到python強大的地方，那真是太多了，優(yōu)雅、簡潔、豐富且強大的第三方庫，開發(fā)速度快，活躍度高等，本文講到的就是其中一個模塊，用了它，再也不用擔心代碼不能運行了2018-09-09
Pandas中一共有三種數據結構，分別為：Series、DataFrame和MultiIndex（老版本中叫Panel ）。其中Series是一維數據結構，DataFrame是二維的表格型數據結構，MultiIndex是三維的數據結構。本文將詳細為大家講解這三個數據結構，需要的可以參考一下2022-02-02
解決Ubuntu18中的pycharm不能調用tensorflow-gpu的問題
這篇文章主要介紹了解決Ubuntu18中的pycharm不能調用tensorflow-gpu的問題，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
Socket是網絡編程的一個抽象概念,通常我們用一個Socket表示“打開了一個網絡鏈接”,而打開一個Socket需要知道目標計算機的IP地址和端口號,再指定協(xié)議類型即可,這篇文章主要給大家介紹了關于Python Socket編程的相關資料,需要的朋友可以參考下2021-08-08
文章主要講述了在將Python應用程序部署到生產環(huán)境之前,需要進行的準備工作和最佳實踐,包括心態(tài)調整、代碼審查、測試覆蓋率提升、配置文件優(yōu)化、日志記錄完善、文檔更新、環(huán)境搭建、自動化流水線、性能調優(yōu)、監(jiān)控與告警、安全加固以及故障恢復2025-01-01
Python利用Beautiful Soup模塊創(chuàng)建對象詳解
這篇文章主要介紹了Python利用Beautiful Soup模塊創(chuàng)建對象的相關資料，文中介紹的非常詳細，相信對大家具有一定的參考價值，需要的朋友們下面來一起看看吧。2017-03-03
這篇文章主要介紹了Python求導數的方法,涉及Python數學運算的相關技巧,需要的朋友可以參考下2015-05-05