python爬蟲爬取淘寶商品信息
更新時間：2018年02月23日 17:04:40 作者：OliverkingLi
這篇文章主要為大家詳細(xì)介紹了python爬蟲爬取淘寶商品信息，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文實(shí)例為大家分享了python爬取淘寶商品的具體代碼，供大家參考，具體內(nèi)容如下
import requests as req
import re
def getHTMLText(url):
try:
r = req.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parasePage(ilt, html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price, title])
except:
print("")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tplt.format("序列號", "價格", "商品名稱"))
count = 0
for j in ilt:
count = count + 1
print(tplt.format(count, j[0], j[1]))
def main():
goods = "python爬蟲"
depth = 3
start_url = 'https://s.taobao.com/search?q=' + goods
infoList = []
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html = getHTMLText(url)
parasePage(infoList, html)
except:
continue
printGoodsList(infoList)
main()
效果圖：
更多內(nèi)容請參考專題《python爬取功能匯總》進(jìn)行學(xué)習(xí)。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
jieba庫是一款優(yōu)秀的 Python 第三方中文分詞庫，jieba 支持三種分詞模式：精確模式、全模式和搜索引擎模式，這篇文章主要介紹了Python安裝jieba庫教程,需要的朋友可以參考下2023-03-03
python實(shí)現(xiàn)一個簡單的ping工具方法
今天小編就為大家分享一篇python實(shí)現(xiàn)一個簡單的ping工具方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
python機(jī)器學(xué)習(xí)實(shí)現(xiàn)決策樹
這篇文章主要為大家詳細(xì)介紹了python機(jī)器學(xué)習(xí)實(shí)現(xiàn)決策樹，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-11-11
淺談Pandas dataframe數(shù)據(jù)處理方法的速度比較
這篇文章主要介紹了淺談Pandas dataframe數(shù)據(jù)處理方法的速度比較，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
tensorflow保持每次訓(xùn)練結(jié)果一致的簡單實(shí)現(xiàn)
今天小編就為大家分享一篇tensorflow保持每次訓(xùn)練結(jié)果一致的實(shí)現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Django事務(wù)transaction的使用以及多個裝飾器問題
這篇文章主要介紹了Django事務(wù)transaction的使用以及多個裝飾器問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
這篇文章主要介紹了python中文亂碼不著急，先看懂字節(jié)和字符，具有一定借鑒價值，需要的朋友可以參考下。2017-12-12
生成器（Generators）和迭代器（Iterators）是 Python 中用于處理序列數(shù)據(jù)的強(qiáng)大工具，本文主要來和大家介紹一下它們的具體使用，方便大家更好的了解它們，需要的可以學(xué)習(xí)下2022-03-03
這篇文章介紹了PyTorch中的張量（Tensor）數(shù)據(jù)結(jié)構(gòu),包括張量的數(shù)據(jù)類型、初始化、常用操作、屬性等,張量是PyTorch框架中的核心數(shù)據(jù)結(jié)構(gòu),支持多種數(shù)據(jù)類型,可以通過工廠函數(shù)構(gòu)造張量,并提供了豐富的操作和屬性,感興趣的朋友跟隨小編一起看看吧2025-01-01
這篇文章主要介紹了Python WebSocket長連接心跳與短連接的示例，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-11-11