Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過(guò)程解析
前言
當(dāng)需要進(jìn)行大規(guī)模查詢(xún)時(shí)（比如目前遇到的情形：查詢(xún)某個(gè)省所有發(fā)債企業(yè)的YY評(píng)級(jí)分?jǐn)?shù)），人工查詢(xún)顯然太過(guò)費(fèi)時(shí)，那就寫(xiě)個(gè)爬蟲(chóng)吧。
由于該爬蟲(chóng)實(shí)在過(guò)于簡(jiǎn)單，就只簡(jiǎn)單概述下。
一、請(qǐng)求端
通過(guò)觀察YY評(píng)級(jí)的網(wǎng)頁(yè)信息，如下圖（F12或右擊進(jìn)入檢查，點(diǎn)擊network—>XHR—>headers）。
紅色框表明是個(gè)get請(qǐng)求（其實(shí)這種網(wǎng)頁(yè)基本都是Ajax get，需要總結(jié)實(shí)際url的規(guī)律的）。
綠色框即為實(shí)際URL，通過(guò)分析該URL，其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”，后半部分為黃色框內(nèi)內(nèi)容用“&”符號(hào)連接后的結(jié)果。黃色框內(nèi)的內(nèi)容，只有企業(yè)名稱(chēng)為變量，且為已知變量，那URL即可據(jù)此確定了。
另外需注意，YY評(píng)級(jí)需要登錄才可查詢(xún)數(shù)據(jù)，在構(gòu)建頭部信息進(jìn)行訪問(wèn)時(shí)，一定要提前登錄，并在頭部信息中放入登錄信息和登錄狀態(tài)。
二、響應(yīng)端
通過(guò)觀察網(wǎng)頁(yè)的響應(yīng)信息（F12或右擊進(jìn)入檢查，點(diǎn)擊network—>XHR—>response），如下圖。響應(yīng)信息及其簡(jiǎn)單，我們所需要的YY評(píng)級(jí)分?jǐn)?shù)安詳?shù)靥稍谀抢?，?jiǎn)單到一個(gè)正則表達(dá)式就可以提取出該數(shù)據(jù)。正則如下：
"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"
三、代碼
所需數(shù)據(jù)較少，代碼相對(duì)簡(jiǎn)單，就不建立函數(shù)了，直接一路到底吧。如下：
運(yùn)行代碼后，得到結(jié)果如下。安徽省的100多條數(shù)據(jù)，就到了本地了
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python getattr()函數(shù)使用方法代碼實(shí)例
這篇文章主要介紹了Python getattr()函數(shù)使用方法代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
Python讀寫(xiě)二進(jìn)制文件的實(shí)現(xiàn)
本文主要介紹了Python讀寫(xiě)二進(jìn)制文件的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04
這篇文章主要為大家詳細(xì)介紹了如何通過(guò)Python編寫(xiě)屏幕網(wǎng)格生成工具,可以定期繪制一個(gè)透明的網(wǎng)格,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-12-12
python正則表達(dá)式中的括號(hào)匹配問(wèn)題
這篇文章主要介紹了python正則表達(dá)式中的括號(hào)匹配問(wèn)題,需要的朋友可以參考下2014-12-12
pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法
這篇文章主要給大家介紹了關(guān)于pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-08-08
在本篇文章里小編給大家整理的是一篇關(guān)于Python中if有多個(gè)條件處理方法，需要的朋友們可以學(xué)習(xí)參考下。2020-02-02
Django如何簡(jiǎn)單快速實(shí)現(xiàn)PUT、DELETE方法
這篇文章主要介紹了Django如何簡(jiǎn)單快速實(shí)現(xiàn)PUT、DELETE方法,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
詳解Python NumPy中矩陣和通用函數(shù)的使用
在NumPy中，矩陣是ndarray的子類(lèi)，與數(shù)學(xué)概念中的矩陣一樣，NumPy中的矩陣也是二維的，可以使用 mat 、 matrix 以及 bmat 函數(shù)來(lái)創(chuàng)建矩陣。本文將詳細(xì)講解NumPy中矩陣和通用函數(shù)的使用，感興趣的可以了解一下2022-06-06
這篇文章主要介紹了Python集合操作方法詳解,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python對(duì)List中的元素排序 ,需要的朋友可以參考下2018-04-04