python定向爬取淘寶商品價(jià)格
更新時(shí)間：2018年02月27日 09:08:06 作者：learn_is_happy
這篇文章主要為大家詳細(xì)介紹了python定向爬取淘寶商品價(jià)格，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
python爬蟲學(xué)習(xí)之定向爬取淘寶商品價(jià)格，供大家參考，具體內(nèi)容如下
import requests
import re
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() #如果發(fā)送了一個(gè)失敗請(qǐng)求(非200響應(yīng)),#我們可以通過 Response.raise_for_status() 來拋出異常:
r.encoding= r.apparent_encoding
return r.text
except:
return ""
def parsePage(ilt,html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*?\"',html) #正則表達(dá)式來匹配 "view_price":"\d\."類型的字符串
tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
#正則表達(dá)式來匹配 "raw_title":".*?"類型的字符串,.*?是任意字符的最小匹配
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price,title])
except:
print ("")
def PrintGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print (tplt.format("序號(hào)","價(jià)格","商品名稱"))
count = 0
for g in ilt:
count = count + 1
print (tplt.format(count,g[0],g[1]))
def main():
goods = '書包'
depth = 2
start_url = 'https://s.taobao.com/search?q=' + goods
infoList=[]
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html= getHTMLText(url)
parsePage(infoList,html)
except:
continue
PrintGoodsList(infoList)
main()
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python?eval()函數(shù)和ast.literal_eval()的區(qū)別你知道嗎
這篇文章主要為大家詳細(xì)介紹了Python?eval()函數(shù)和ast.literal_eval()的區(qū)，文中圖片代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-02-02
python 基本數(shù)據(jù)類型占用內(nèi)存空間大小的實(shí)例
今天小編就為大家分享一篇python 基本數(shù)據(jù)類型占用內(nèi)存空間大小的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Python個(gè)人博客程序開發(fā)實(shí)例用戶驗(yàn)證功能
這篇文章主要介紹了怎樣用Python來實(shí)現(xiàn)一個(gè)完整的個(gè)人博客系統(tǒng)，我們通過實(shí)操上手的方式可以高效的鞏固所學(xué)的基礎(chǔ)知識(shí)，感興趣的朋友一起來看看吧2022-12-12
這篇文章主要介紹了Python二叉搜索樹與雙向鏈表轉(zhuǎn)換算法,涉及Python二叉樹構(gòu)建、遍歷及鏈表構(gòu)造等相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
python 動(dòng)態(tài)獲取當(dāng)前運(yùn)行的類名和函數(shù)名的方法
這篇文章主要介紹了python 動(dòng)態(tài)獲取當(dāng)前運(yùn)行的類名和函數(shù)名的方法,分別介紹使用內(nèi)置方法、sys模塊、修飾器、inspect模塊等方法,需要的朋友可以參考下2014-04-04
pytorch 準(zhǔn)備、訓(xùn)練和測(cè)試自己的圖片數(shù)據(jù)的方法
這篇文章主要介紹了pytorch 準(zhǔn)備、訓(xùn)練和測(cè)試自己的圖片數(shù)據(jù)的方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
python 自動(dòng)化數(shù)據(jù)提取之正則表達(dá)式
這篇文章主要介紹了python 自動(dòng)化數(shù)據(jù)提取之正則表達(dá)式,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2017-01-01
Word文檔內(nèi)容的整潔性與易讀性是體現(xiàn)文檔水平的關(guān)鍵因素之一,許多錯(cuò)誤或不合理的內(nèi)容,如多余的空白行,Python為批量刪除Word文檔空白行以及對(duì)這一過程的自動(dòng)化處理提供了強(qiáng)有力的支持,本文將介紹如何利用Python自動(dòng)化刪除Word文檔中的空白行,需要的朋友可以參考下2024-05-05
本篇文章主要介紹了Python多線程Selenium跨瀏覽器測(cè)試，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。2017-04-04
使用PyTorch實(shí)現(xiàn)去噪擴(kuò)散模型的完整代碼
在本文中,我們將深入研究DDPM的復(fù)雜性,涵蓋其訓(xùn)練過程,包括正向和逆向過程,并探索如何執(zhí)行采樣,在整個(gè)探索過程中,我們將使用PyTorch從頭開始構(gòu)建DDPM,并完成其完整的訓(xùn)練,需要的朋友可以參考下2024-01-01