python挖掘蛋卷基金投資組合數(shù)據(jù)分析
一、網(wǎng)頁(yè)分析
1、打開網(wǎng)頁(yè)
我們隨意打開一個(gè)蛋卷基金上投資組合的網(wǎng)頁(yè)，例如：
鏈接: https://danjuanapp.com/strategy/CSI1033
這里以Microsoft Edge瀏覽器為例 。
2、查看json
選擇“XHR”，發(fā)現(xiàn)有一個(gè)以基金編號(hào)命名的文件，單擊它，查看請(qǐng)求標(biāo)頭。
GET /djapi/plan/CSI1033 HTTP/1.1 Host: danjuanapp.com Connection: keep-alive sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="90", "Microsoft Edge";v="90" Accept: application/json, text/plain, */* sec-ch-ua-mobile: ?0 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.62 elastic-apm-traceparent: 00-25105e3e8908ba33898b0f6cd57b8a73-c782a0e5122abe33-01 Sec-Fetch-Site: same-origin Sec-Fetch-Mode: cors Sec-Fetch-Dest: empty Referer: https://danjuanapp.com/strategy/CSI1033 Accept-Encoding: gzip, deflate, br Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6 Cookie: device_id=web_Skhu79T_v; acw_tc=2760774a16215745204941604e9286878fd10c566d03eedbbb0eb93c40e0f5; channel=undefined; xq_a_token=ccd9918c5b2c091c2d0dacb2e264963ba5fb7539; Hm_lvt_b53ede02df3afea0608038748f4c9f36=1621307606,1621428116,1621514481,1621574521; Hm_lpvt_b53ede02df3afea0608038748f4c9f36=1621574634; timestamp=1621574634698
發(fā)現(xiàn)好像沒什么特別的，說不定沒有反爬的機(jī)制 ，不如試著直接點(diǎn)開這個(gè)鏈接。
原來這里面存的就是基金基本信息的json！
我們觀察這個(gè)地址：
https://danjuanapp.com/djapi/plan/CSI1033
發(fā)現(xiàn)只要更改最后的編號(hào)，就可以獲得各個(gè)基金的基本信息。
二、數(shù)據(jù)獲取
1、觀察json的結(jié)構(gòu)
我們觀察一下這個(gè)json的結(jié)構(gòu)，這里只截取部分片段。
{
"data": {
"plan_code": "CSI1033",
"plan_name": "螺絲釘主動(dòng)優(yōu)選組合",
"yield": "65.93",
"yield_name": "成立以來收益",
"yield_middle": "48.03",
"yield_name_middle": "成立以來年化",
……
"found_date": "2020-02-03",
"manager_xq_id": "3079173340",
"manager_name": "銀行螺絲釘",
"manager_profile_photo": "https://danjuan.aiganggu.com/o2020021580801637267.png",
"invest_time_type": 2,
"invest_time_name": "持有3年以上",
"invest_money_type": 4,
"invest_money_name": "積極增值",
"found_days": 473,
"min_buy_amount": "200",
"plan_derived": {
"end_date": "2021-05-20",
"nav_grtd": "-0.03",
"nav_grl1w": "2.38",
……
"unit_nav": "1.6593",
"yield_history": [{
"yield": "-12.02",
"name": "近3個(gè)月"
}, {
"yield": "7.40",
"name": "近6個(gè)月"
}, {
"yield": "42.25",
……
我們發(fā)現(xiàn)，所有數(shù)據(jù)都存在 “data” 下， “data” 里有基金的基本信息，當(dāng)日凈值存在 “plan_derived” 下的 “unit_nav” 里，那么我們只要按照這個(gè)順序從中獲取數(shù)據(jù)即可。
三、代碼實(shí)現(xiàn)
1、基本操作
a. 需要使用的模塊
用requests獲取頁(yè)面，用json庫(kù)將json文件轉(zhuǎn)化為字典。
import requests import json
b. 隨便設(shè)置一個(gè)請(qǐng)求標(biāo)頭
header={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
c. 獲取頁(yè)面信息
這里的code為基金的代碼，用requests獲取頁(yè)面以后讀出具體的文本內(nèi)容，存到page里。
code='CSI1033' url='https://danjuanapp.com/djapi/plan/'+code page=requests.get(url,headers=header).text
我們把page輸出出來檢查一下，發(fā)現(xiàn)我們想要的都在里面。
d. 導(dǎo)入json
因?yàn)樗袛?shù)據(jù)都在data里，所以我們直接進(jìn)入data內(nèi)即可。
items=json.loads(page)
items=items.get("data")
e. 從json中獲取需要的信息
基金的名字
name=items.get('plan_name')基金的當(dāng)日凈值以及凈值的記錄日期
這些數(shù)據(jù)在“plan_derived”內(nèi)。
value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")
2、寫一個(gè)可以重復(fù)使用的函數(shù)
我們以code作為傳入的參數(shù)，把剛才的內(nèi)容組合起來。
def getfund(code):
url='https://danjuanapp.com/djapi/plan/'+code
page=requests.get(url,headers=header).text
items=json.loads(page)
items=items.get("data")
value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")
name=items.get('plan_name')
print("基金編號(hào):",code,'\n基金名:',name,"\n日期:",date,"凈值:",value)
3、完整代碼
#by concyclics
import requests
import json
header={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
danjuan=['CSI1033','CSI1032','CSI1038','CSI1029','CSI1006','CSI1065']
danjuan.sort()
#獲取當(dāng)天信息
def getfund(code):
url='https://danjuanapp.com/djapi/plan/'+code
page=requests.get(url,headers=header).text
items=json.loads(page)
items=items.get("data")
value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")
name=items.get('plan_name')
print("基金編號(hào):",code,'\n基金名:',name,"\n日期:",date,"凈值:",value)
if __name__=='__main__':
for code in danjuan:
getfund(code)
這樣，我們的功能就基本實(shí)現(xiàn)了，更多關(guān)于python挖掘蛋卷基金投資數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
利用python如何處理百萬(wàn)條數(shù)據(jù)(適用java新手)
這篇文章主要給大家介紹了關(guān)于利用python如何處理百萬(wàn)條數(shù)據(jù)的相關(guān)資料，本文的教程非常適用于java新手，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-06-06
今天小編就為大家分享一篇pytorch使用指定GPU訓(xùn)練的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
OpenCV角點(diǎn)檢測(cè)的實(shí)現(xiàn)示例
角點(diǎn)通常被定義為兩條邊的交點(diǎn)，本文主要介紹了OpenCV角點(diǎn)檢測(cè)的實(shí)現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03
Python第三方庫(kù)h5py_讀取mat文件并顯示值的方法
今天小編就為大家分享一篇Python第三方庫(kù)h5py_讀取mat文件并顯示值的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-02-02
Python使用turtle繪制有趣的龍年祝福動(dòng)畫
這篇文章主要介紹了Python的內(nèi)置庫(kù)——小海龜（turtle）,它是一個(gè)非常實(shí)用的繪畫工具,不僅可以幫助我們繪制圖形,還能讓我們查看整個(gè)繪畫過程,下面我們就來看看如何使用turtle繪制有趣的龍年祝福動(dòng)畫吧2024-01-01
python破解bilibili滑動(dòng)驗(yàn)證碼登錄功能
這篇文章主要介紹了python破解bilibili滑動(dòng)驗(yàn)證碼登錄功能，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09
pycharm實(shí)現(xiàn)在虛擬環(huán)境中引入別人的項(xiàng)目
這篇文章主要介紹了pycharm實(shí)現(xiàn)在虛擬環(huán)境中引入別人的項(xiàng)目，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Python實(shí)現(xiàn)直方圖均衡基本原理解析
這篇文章主要介紹了Python實(shí)現(xiàn)直方圖均衡基本原理，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2019-08-08
執(zhí)行Python程序時(shí)模塊報(bào)錯(cuò)問題
這篇文章主要介紹了執(zhí)行Python程序時(shí)模塊報(bào)錯(cuò)問題及解決方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
python 讀寫csv文件方式(創(chuàng)建,追加,覆蓋)
這篇文章主要介紹了python 讀寫csv文件方式(創(chuàng)建,追加,覆蓋)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-05-05