python爬取淘寶商品銷量信息
更新時間:2018年11月16日 15:03:31 作者:平步青云win
這篇文章主要為大家詳細(xì)介紹了python爬取淘寶商品的銷量信息,具有一定的參考價值,感興趣的小伙伴們可以參考一下
python爬取淘寶商品銷量的程序,運(yùn)行程序,輸入想要爬取的商品關(guān)鍵詞,在代碼中的‘###'可以進(jìn)一步約束商品的屬性,比如某某作者的書籍,可以在###處輸入作者名字,以及時期等等。最后可以得到所要商品的總銷量
import requests
import bs4
import re
import json
def open(keywords, page):
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
payload = {'q':keywords, 'sort':"sale-desc", 's':(page-1)*44}
url = "https://s.taobao.com/search"
res = requests.get(url, params = payload)
return res
def get_item(res):
g_page_config = re.search(r'g_page_config = (.*?);\n', res.text)
page_config_json = json.loads(g_page_config.group(1))
page_item = page_config_json['mods']['itemlist']['data']['auctions']
result = []#整理出我們關(guān)注的信息(ID,標(biāo)題,鏈接,售價,銷量和商家)
for each in page_item:
dict1 = dict.fromkeys(('id','title','link','price','sale','shoper'))
dict1['id'] = each['nid']
dict1['title'] = each['title']
dict1['link'] = each['detail_url']
dict1['price'] = each['view_price']
dict1['sale'] = each['view_sales']
dict1['shoper'] = each['nick']
result.append(dict1)
return result
def count_sales(items):
count = 0
for each in items:
if '###' in each['title']:#規(guī)定只取標(biāo)題中‘###'的商品
count += int(re.search(r'\d+',each['sale']).group())
return count
def main():
keywords = input("請輸入搜索關(guān)鍵詞:")#可以為各種商品名稱
length = 10#淘寶商品頁數(shù)
total = 0
for each in range(length):
res = open(keywords, each+1)
items = get_item(res)
total += count_sales(items)#銷售總量
print(total)
if __name__ == "__main__":
main()
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python機(jī)器學(xué)習(xí)庫scikit-learn入門開發(fā)示例
scikit-learn是一個開源Python語言機(jī)器學(xué)習(xí)工具包,它涵蓋了幾乎所有主流機(jī)器學(xué)習(xí)算法的實現(xiàn),并且提供了一致的調(diào)用接口。它基于Numpy和scipy等Python數(shù)值計算庫,提供了高效的算法實現(xiàn)2022-07-07
Python?SQLAlchemy與數(shù)據(jù)庫交互操作完整指南
SQLAlchemy 是一個強(qiáng)大的 Python 庫,用于數(shù)據(jù)庫操作,無論是簡單的數(shù)據(jù)存儲還是復(fù)雜的數(shù)據(jù)管理,SQLAlchemy 都提供了多種方法來處理數(shù)據(jù)庫,本文將全面介紹 SQLAlchemy的基本用法以及各種操作的示例代碼2024-01-01
一文帶你了解CNN(卷積神經(jīng)網(wǎng)絡(luò))
CNN是神經(jīng)網(wǎng)絡(luò)中的一種,它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò),降低了網(wǎng)絡(luò)模型的復(fù)雜度,減少了權(quán)值的數(shù)量。本文主要講解了CNN(卷積神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)內(nèi)容,想了解更多的小伙伴可以看一看這篇文章2021-09-09
Python如何利用xlrd和xlwt模塊操作Excel表格
這篇文章主要給大家介紹了關(guān)于Python如何利用xlrd和xlwt模塊操作Excel表格的相關(guān)資料,其中xlrd模塊實現(xiàn)對excel文件內(nèi)容讀取,xlwt模塊實現(xiàn)對excel文件的寫入,需要的朋友可以參考下2022-03-03

