使用Python爬了4400條淘寶商品數(shù)據(jù),竟發(fā)現(xiàn)了這些“潛規(guī)則”
本文記錄了筆者用 Python 爬取淘寶某商品的全過程，并對(duì)商品數(shù)據(jù)進(jìn)行了挖掘與分析，最終得出結(jié)論。
項(xiàng)目?jī)?nèi)容
本案例選擇>> 商品類目：沙發(fā)；
數(shù)量：共100頁(yè) 4400個(gè)商品；
篩選條件：天貓、銷量從高到低、價(jià)格500元以上。
項(xiàng)目目的
1. 對(duì)商品標(biāo)題進(jìn)行文本分析 詞云可視化
2. 不同關(guān)鍵詞word對(duì)應(yīng)的sales的統(tǒng)計(jì)分析
3. 商品的價(jià)格分布情況分析
4. 商品的銷量分布情況分析
5. 不同價(jià)格區(qū)間的商品的平均銷量分布
6. 商品價(jià)格對(duì)銷量的影響分析
7. 商品價(jià)格對(duì)銷售額的影響分析
8. 不同省份或城市的商品數(shù)量分布
9.不同省份的商品平均銷量分布
注：本項(xiàng)目?jī)H以以上幾項(xiàng)分析為例。
項(xiàng)目步驟
1. 數(shù)據(jù)采集：Python爬取淘寶網(wǎng)商品數(shù)據(jù)
2. 對(duì)數(shù)據(jù)進(jìn)行清洗和處理
3. 文本分析：jieba分詞、wordcloud可視化
4. 數(shù)據(jù)柱形圖可視化 barh
5. 數(shù)據(jù)直方圖可視化 hist
6. 數(shù)據(jù)散點(diǎn)圖可視化 scatter
7. 數(shù)據(jù)回歸分析可視化 regplot
工具&模塊：
工具：本案例代碼編輯工具 Anaconda的Spyder
模塊：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。
一、爬取數(shù)據(jù)
因淘寶網(wǎng)是反爬蟲的，雖然使用多線程、修改headers參數(shù)，但仍然不能保證每次100%爬取，所以 我增加了循環(huán)爬取，每次循環(huán)爬取未爬取成功的頁(yè) 直至所有頁(yè)爬取成功停止。
說明：淘寶商品頁(yè)為JSON格式 這里使用正則表達(dá)式進(jìn)行解析；
代碼如下：
二、數(shù)據(jù)清洗、處理：
(此步驟也可以在Excel中完成 再讀入數(shù)據(jù))
代碼如下：
說明：根據(jù)需求，本案例中只取了 item_loc, raw_title, view_price, view_sales 這4列數(shù)據(jù)，主要對(duì) 標(biāo)題、區(qū)域、價(jià)格、銷量 進(jìn)行分析。
代碼如下:
三、數(shù)據(jù)挖掘與分析：
【1】. 對(duì) raw_title 列標(biāo)題進(jìn)行文本分析：
使用結(jié)巴分詞器，安裝模塊pip install jieba
對(duì) title_s（list of list 格式）中的每個(gè)list的元素（str）進(jìn)行過濾 剔除不需要的詞語(yǔ)，即 把停用詞表stopwords中有的詞語(yǔ)都剔除掉：
因?yàn)橄旅嬉y(tǒng)計(jì)每個(gè)詞語(yǔ)的個(gè)數(shù)，所以 為了準(zhǔn)確性 這里對(duì)過濾后的數(shù)據(jù) title_clean 中的每個(gè)list的元素進(jìn)行去重，即 每個(gè)標(biāo)題被分割后的詞語(yǔ)唯一。
觀察 word_count 表中的詞語(yǔ)，發(fā)現(xiàn)jieba默認(rèn)的詞典 無(wú)法滿足需求：
有的詞語(yǔ)（如 可拆洗、不可拆洗等）卻被cut，這里根據(jù)需求對(duì)詞典加入新詞（也可以直接在詞典dict.txt里面增刪，然后載入修改過的dict.txt）
詞云可視化：
安裝模塊 wordcloud：
方法1： pip install wordcloud
方法2： 下載Packages安裝：pip install 軟件包名稱
軟件包下載地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud
注意：要把下載的軟件包放在Python安裝路徑下。
代碼如下：
分析結(jié)論：
1. 組合、整裝商品占比很高；
2. 從沙發(fā)材質(zhì)看：布藝沙發(fā)占比很高，比皮藝沙發(fā)多；
3. 從沙發(fā)風(fēng)格看：簡(jiǎn)約風(fēng)格最多，北歐風(fēng)次之，其他風(fēng)格排名依次是美式、中式、日式、法式 等；
4. 從戶型看：小戶型占比最高、大小戶型次之，大戶型最少。
【2】. 不同關(guān)鍵詞word對(duì)應(yīng)的sales之和的統(tǒng)計(jì)分析：
（說明：例如 詞語(yǔ) ‘簡(jiǎn)約'，則統(tǒng)計(jì)商品標(biāo)題中含有‘簡(jiǎn)約'一詞的商品的銷量之和，即求出具有‘簡(jiǎn)約'風(fēng)格的商品銷量之和）
代碼如下：
對(duì)表df_word_sum 中的 word 和 w_s_sum 兩列數(shù)據(jù)進(jìn)行可視化
（本例中取銷量排名前30的詞語(yǔ)進(jìn)行繪圖）
由圖表可知：
1. 組合商品銷量最高 ；
2. 從品類看：布藝沙發(fā)銷量很高，遠(yuǎn)超過皮藝沙發(fā)；
3. 從戶型看：小戶型沙發(fā)銷量最高，大小戶型次之，大戶型銷量最少；
4. 從風(fēng)格看：簡(jiǎn)約風(fēng)銷量最高，北歐風(fēng)次之，其他依次是中式、美式、日式等；
5. 可拆洗、轉(zhuǎn)角類沙發(fā)銷量可觀，也是頗受消費(fèi)者青睞的。
【3】. 商品的價(jià)格分布情況分析：
分析發(fā)現(xiàn)，有一些值太大，為了使可視化效果更加直觀，這里我們結(jié)合自身產(chǎn)品情況，選擇價(jià)格小于20000的商品。
代碼如下：
由圖表可知：
1. 商品數(shù)量隨著價(jià)格總體呈現(xiàn)下降階梯形勢(shì)，價(jià)格越高，在售的商品越少；
2. 低價(jià)位商品居多，價(jià)格在500-1500之間的商品最多，1500-3000之間的次之，價(jià)格1萬(wàn)以上的商品較少；
3. 價(jià)格1萬(wàn)元以上的商品，在售商品數(shù)量差異不大。
【4】. 商品的銷量分布情況分析：
同樣，為了使可視化效果更加直觀，這里我們選擇銷量大于100的商品。
代碼如下：
由圖表及數(shù)據(jù)可知：
1. 銷量100以上的商品僅占3.4% ，其中銷量100-200之間的商品最多，200-300之間的次之；
2. 銷量100-500之間，商品的數(shù)量隨著銷量呈現(xiàn)下降趨勢(shì)，且趨勢(shì)陡峭，低銷量商品居多；
3. 銷量500以上的商品很少。
【5】. 不同價(jià)格區(qū)間的商品的平均銷量分布：
代碼如下：
由圖表可知：
1. 價(jià)格在1331-1680之間的商品平均銷量最高，951-1331之間的次之，9684元以上的最低；
2. 總體呈現(xiàn)先增后減的趨勢(shì)，但最高峰處于相對(duì)低價(jià)位階段；
3. 說明廣大消費(fèi)者對(duì)購(gòu)買沙發(fā)的需求更多處于低價(jià)位階段，在1680元以上 價(jià)位越高 平均銷量基本是越少。
【6】. 商品價(jià)格對(duì)銷量的影響分析：
同上，為了使可視化效果更加直觀，這里我們結(jié)合自身產(chǎn)品情況，選擇價(jià)格小于20000的商品。
代碼如下：
由圖表可知：
1. 總體趨勢(shì)：隨著商品價(jià)格增多 其銷量減少，商品價(jià)格對(duì)其銷量影響很大；
2. 價(jià)格500-2500之間的少數(shù)商品銷量沖的很高，價(jià)格2500-5000之間的商品多數(shù)銷量偏低，少數(shù)相對(duì)較高，但價(jià)格5000以上的商品銷量均很低 沒有銷量突出的商品。
【7】. 商品價(jià)格對(duì)銷售額的影響分析：
代碼如下：
由圖表可知：
1. 總體趨勢(shì)：由線性回歸擬合線可以看出，商品銷售額隨著價(jià)格增長(zhǎng)呈現(xiàn)上升趨勢(shì)；
2. 多數(shù)商品的價(jià)格偏低，銷售額也偏低；
3. 價(jià)格在0-20000的商品只有少數(shù)銷售額較高，價(jià)格2萬(wàn)-6萬(wàn)的商品只有3個(gè)銷售額較高，價(jià)格6-10萬(wàn)的商品有1個(gè)銷售額很高，而且是最大值。
【8】. 不同省份的商品數(shù)量分布：
代碼如下：
由圖表可知：
1. 廣東的最多，上海次之，江蘇第三，尤其是廣東的數(shù)量遠(yuǎn)超過江蘇、浙江、上海等地，說明在沙發(fā)這個(gè)子類目，廣東的店鋪占主導(dǎo)地位；
2. 江浙滬等地的數(shù)量差異不大，基本相當(dāng)。
【9】. 不同省份的商品平均銷量分布：
代碼如下：
熱力型地圖
總結(jié)
以上所述是小編給大家介紹的使用Python爬了4400條淘寶商品數(shù)據(jù),竟發(fā)現(xiàn)了這些“潛規(guī)則”，希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
python tools實(shí)現(xiàn)視頻的每一幀提取并保存
這篇文章主要為大家詳細(xì)介紹了python tools實(shí)現(xiàn)視頻的每一幀提取并保存，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-05-05
Python使用collections模塊實(shí)現(xiàn)擴(kuò)展數(shù)據(jù)類
Python?標(biāo)準(zhǔn)庫(kù)提供了一個(gè)?collections?模塊，里面提供了很多的數(shù)據(jù)類，在工作中使用這些類能夠簡(jiǎn)化我們的開發(fā)，本文就來(lái)看看collections是如何實(shí)現(xiàn)擴(kuò)展數(shù)據(jù)類的吧2023-06-06
淺談?dòng)肰SCode寫python的正確姿勢(shì)
本篇文章主要介紹了淺談?dòng)肰SCode寫python的正確姿勢(shì)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧2017-12-12
今天小編就為大家分享一篇使用pytorch進(jìn)行圖像的順序讀取方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2018-07-07
Pandas中的loc與iloc區(qū)別與用法小結(jié)
loc函數(shù)：通過行索引 “Index” 中的具體值來(lái)取行數(shù)據(jù)（如取"Index"為"A"的行）而iloc函數(shù)：通過行號(hào)來(lái)取行數(shù)據(jù)（如取第二行的數(shù)據(jù)）,這篇文章介紹Pandas中的loc與iloc區(qū)別與用法,感興趣的朋友一起看看吧2024-01-01
Python torch.flatten()函數(shù)案例詳解
這篇文章主要介紹了Python torch.flatten()函數(shù)案例詳解,本篇文章通過簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-08-08
python3+selenium實(shí)現(xiàn)qq郵箱登陸并發(fā)送郵件功能
這篇文章主要為大家詳細(xì)介紹了python3+selenium實(shí)現(xiàn)qq郵箱登陸，并發(fā)送郵件功能，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-01-01
Python使用Matplotlib繪制三維散點(diǎn)圖詳解流程
matplotlib是基建立在python之上，適用于創(chuàng)建靜態(tài)，動(dòng)畫和交互式可視化，通常與數(shù)據(jù)分析模塊pandas搭配使用，用于數(shù)據(jù)的分析和展示，適用于主流的操作系統(tǒng)，如Linux、Win、Mac2022-11-11
Gradio機(jī)器學(xué)習(xí)模型快速部署工具接口狀態(tài)
這篇文章主要為大家介紹了Gradio機(jī)器學(xué)習(xí)模型快速部署工具接口狀態(tài)的原文翻譯，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-04-04
Python中torch.load()加載模型以及其map_location參數(shù)詳解
torch.load()作用用來(lái)加載torch.save()保存的模型文件,下面這篇文章主要給大家介紹了關(guān)于Python中torch.load()加載模型以及其map_location參數(shù)的相關(guān)資料,需要的朋友可以參考下2022-09-09