快捷導(dǎo)航

Python爬蟲之自動爬取某車之家各車銷售數(shù)據(jù)

更新時間：2021年06月02日 16:39:16 作者：程序員啟航

應(yīng)朋友要求,幫忙采集某車之家的一些汽車品牌的銷售數(shù)據(jù),包含購車時間、車型、經(jīng)銷商、裸車價等一類信息. 今天我們就簡單演示一下采集過程,大家可以根據(jù)自己的興趣進(jìn)行拓展.比如采集自己喜歡的品牌汽車數(shù)據(jù)進(jìn)行統(tǒng)計分析等等,需要的朋友可以參考下

一、目標(biāo)網(wǎng)頁分析

目標(biāo)網(wǎng)站是某車之家關(guān)于品牌汽車車型的口碑模塊相關(guān)數(shù)據(jù)，比如我們演示的案例奧迪Q5L的口碑頁面如下：

https://k.autohome.com.cn/4851/#pvareaid=3311678

為了演示方式，大家可以直接打開上面這個網(wǎng)址，然后拖到全部口碑位置，找到我們本次采集需要的字段如下圖所示：

采集字段

我們進(jìn)行翻頁發(fā)現(xiàn)，瀏覽器網(wǎng)址發(fā)生了變化，大家可以對下如下幾頁的網(wǎng)址找出規(guī)律：

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

對于上面寫網(wǎng)址，我們發(fā)現(xiàn)可變部分是車型（如4851）以及頁碼（如2,3,4），于是我們可以構(gòu)建url參數(shù)如下：

# typeid是車型，page是頁碼
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

二、數(shù)據(jù)請求

通過簡單的測試，發(fā)現(xiàn)似乎不存在反爬，那就簡單了。

我們先引入需要用到的庫：

import requests
import pandas as pd
import html
from lxml import etree
import re

然后創(chuàng)建一個數(shù)據(jù)請求的函數(shù)備用：

# 獲取網(wǎng)頁數(shù)據(jù)（傳遞參數(shù) 車型typeid和頁碼數(shù)）
def get_html(typeid,page):
    # 組合出請求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 請求數(shù)據(jù)（因為沒有反爬，這里沒有設(shè)置請求頭和其他參數(shù)）
    r = requests.get(url)
    # 請求的網(wǎng)頁數(shù)據(jù)中有網(wǎng)頁特殊字符，通過以下方法進(jìn)行解析
    r = html.unescape(r.text)
    # 返回網(wǎng)頁數(shù)據(jù)
    return r

請求來的數(shù)據(jù)就是網(wǎng)頁html文本，我們接下來采用re解析出一共多少頁碼，再用xpath進(jìn)行采集字段的解析。

三、數(shù)據(jù)解析

由于需要進(jìn)行翻頁，這里我們可以先通過re正則表達(dá)式獲取總頁碼。通過查看網(wǎng)頁數(shù)據(jù)，我們發(fā)現(xiàn)總頁碼可以通過如下方式獲取：

try:
    pages = int(re.findall(r'共(\d+)頁',r)[0])
# 如果請求不到頁數(shù)，則表示該車型下沒有口碑?dāng)?shù)據(jù)
except :
    print(f'{name} 沒有數(shù)據(jù)！')
    continue

總頁碼采集

關(guān)于待采集字段信息，我們發(fā)現(xiàn)都在節(jié)點div[@class="mouthcon-cont-left"]里，可以先定位這個節(jié)點數(shù)據(jù)，然后再進(jìn)行逐一解析。

待采集字段信息所在節(jié)點

此外，我們發(fā)現(xiàn)每一頁最多15個車型口碑?dāng)?shù)據(jù)，因此我們每頁可以定位15個待采集信息數(shù)據(jù)集，遍歷采集代碼：

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍歷每個全部的車輛銷售信息
for div in divs:
    # 找到車輛銷售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 設(shè)置空的字典，用于存儲單個車輛信息
    item = {}
    # 遍歷車輛信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 當(dāng)字段為購買車型時，進(jìn)行拆分為車型和配置
        if key == '購買車型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['購買配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 當(dāng)字段為購車經(jīng)銷商時，需要獲取經(jīng)銷商的id參數(shù)，再調(diào)用api獲取其真實經(jīng)銷商信息（這里有坑）
        elif key == '購車經(jīng)銷商':
            # 經(jīng)銷商id參數(shù)
            經(jīng)銷商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 組合經(jīng)銷商信息請求地址
            jxs_url = base_jxs_url+經(jīng)銷商id+'|'
            # 請求數(shù)據(jù)（為json格式）
            data = requests.get(jxs_url)
            j = data.json()
            # 獲取經(jīng)銷商名稱
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段時，替換轉(zhuǎn)義字符和空格等為空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

四、數(shù)據(jù)存儲

由于沒啥反爬，這里直接將采集到的數(shù)據(jù)轉(zhuǎn)化為pandas.DataFrame類型，然后存儲為xlsx文件即可。

df = pd.DataFrame(items)
df = df[['購買車型', '購買配置', '購買地點', '購車經(jīng)銷商', '購買時間', '裸車購買價']]
# 數(shù)據(jù)存儲在本地
df.to_excel(r'車輛銷售信息.xlsx',index=None,sheet_name='data')