python爬蟲之場內(nèi)ETF基金獲取
1 前言
之前已經(jīng)介紹了基金的變動信息，但是這些基金都是屬于場外的，今天我們要介紹的是一個帶門檻的投資產(chǎn)品-ETF。只有開立證券賬戶的玩家才能入局，ETF 是一種場內(nèi)交易型基金，可以在盤中進(jìn)行交易，交易性比場外基金強(qiáng)一點(diǎn)，那么閑言少敘，馬上開始介紹正題。
2 ETF列表和簡稱
ETF基金變動情況和基本情況的獲取方式和場外基金是一樣的，怎么獲取比較全面的ETF基金列表呢？
# 獲取基金信息的列表 http://fund.eastmoney.com/data/fbsfundranking.html
以下是ETF信息列表所展示的信息：
ETF 在場內(nèi)進(jìn)行交易時，一般都有一個簡稱，獲取簡稱的方式比較麻煩一點(diǎn)，需要訪問一個頁面，然后通過 bs4 去解析元素的方式去獲取。
#經(jīng)過分析,我們可以發(fā)現(xiàn)基金代碼前綴就代表這其市場,5上海市場 1-深圳市場,以地產(chǎn)ETF和光伏ETF為例 http://quote.eastmoney.com/sz159707.html http://quote.eastmoney.com/sh515790.html
3 ETF 信息獲取
3.1 ETF列表信獲取
ETF 列表信息我們通過訪問列表發(fā)現(xiàn)在訪問列表數(shù)據(jù)時，是請求了一個api接口到了后臺，然后返回給前端一個響應(yīng)報(bào)文。
http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=fb&ft=ct&rs=&gs=0&sc=zzf&st=desc&pi=1&pn=50
看到這里就覺得很開心，不用解析 html 文件了，當(dāng)通過request使用get 方式獲取數(shù)據(jù)時，發(fā)現(xiàn)竟然沒有返回?zé)o訪問權(quán)限，我想可能是沒有攜帶cookie的原因，但是我也沒有登錄呀，可能是請求頭需要攜帶一些頁面信息，于是，經(jīng)過嘗試，最終確定了需要攜帶的信息為:
headers = {
'Host': 'fund.eastmoney.com',
'Referer': 'http://fund.eastmoney.com/data/fbsfundranking.html'
}最終我們獲取基金列表的代碼應(yīng)該這樣寫:
調(diào)試后獲取到的結(jié)果如下圖所示:
3.2 獲取基金的簡稱
獲取基金的簡稱相對比較簡單，通過分析發(fā)現(xiàn)，簡稱所在的位置在 <span class="quote_title_0 wryh">光伏ETF</span> 中，通過訪問頁面獲取元素即可拿到簡稱的描述。
具體的代碼如下圖所示:
4 最終結(jié)果展示
經(jīng)過獲取基金列表和獲取基金簡稱兩個步驟，我們獲取到了最終的結(jié)果如下圖所示，已經(jīng)達(dá)成了需要獲取信息的目的:
后續(xù)我們會把基金信息和ETF 信息進(jìn)行合并存入數(shù)據(jù)庫中，方便后續(xù)的數(shù)據(jù)分析。
到此這篇關(guān)于python爬蟲之場內(nèi)ETF基金獲取的文章就介紹到這了,更多相關(guān)python ETF基金獲取內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python編寫俄羅斯方塊，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
使用pandas把某一列的字符值轉(zhuǎn)換為數(shù)字的實(shí)例
今天小編就為大家分享一篇使用pandas把某一列的字符值轉(zhuǎn)換為數(shù)字的實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
python制作機(jī)器人的實(shí)現(xiàn)方法
機(jī)器人自動回復(fù)在很多場景中都可以用的上，本文主要介紹了python制作機(jī)器人的實(shí)現(xiàn)方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
echarts折線圖的每個折點(diǎn)都顯示數(shù)值的實(shí)現(xiàn)方式
這篇文章主要介紹了echarts折線圖的每個折點(diǎn)都顯示數(shù)值的實(shí)現(xiàn)方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-10-10
Python進(jìn)程池Pool應(yīng)用實(shí)例分析
這篇文章主要介紹了Python進(jìn)程池Pool應(yīng)用,結(jié)合實(shí)例形式分析了Python進(jìn)程池Pool功能、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-11-11
這篇文章主要介紹了Django URL和View的關(guān)系說明,具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了Python 如何在字符串中插入變量，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-08-08
這篇文章主要介紹了基于Python快速處理PDF表格數(shù)據(jù),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-06-06
turtle又稱為海龜繪圖，是Wally Feurzeig, Seymour Papert 和 Cynthia Solomon 于 1967 年所創(chuàng)造的 Logo 編程語言的python實(shí)現(xiàn)。turtle是基于tkinter圖形界面設(shè)計(jì)的。2021-06-06
Python descriptor(描述符)的實(shí)現(xiàn)
這篇文章主要介紹了Python descriptor(描述符)的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11