python爬取酷狗音樂排行榜
更新時間：2019年02月20日 09:40:28 作者：qq_18525247
這篇文章主要為大家詳細介紹了python爬取酷狗音樂排行榜，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文為大家分享了python爬取酷狗音樂排行榜的具體代碼，供大家參考，具體內容如下
#coding=utf-8
from pymongo import MongoClient
import time
import requests
from lxml import etree
client = MongoClient() #連接mongo
hello = client.hello #連接數(shù)據(jù)庫
user = hello.song #連接表
headers = {
'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'}
def get_info(url):
'''
get源碼,encode,解析,xpath,保存
'''
response = requests.get(url, headers=headers)
response = response.text.encode('utf-8')
selector = etree.HTML(response)
soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()')
#保存到本地
# with open('aa.txt','a') as f:
# for i in soup:
# f.write(i.encode('utf-8') + '\n')
#存入數(shù)據(jù)庫
for i in soup:
user.insert({'song': i})
if __name__ == '__main__':
urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)]
for url in urls:
print(url)
get_info(url)
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
Mac上Python使用ffmpeg完美解決方案(避坑必看!)
ffmpeg是一個強大的開源命令行多媒體處理工具,下面這篇文章主要給大家介紹了關于Mac上Python使用ffmpeg完美解決方案的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-02-02
這篇文章主要介紹了一些Python中的隱藏特性,從stackoverflow的人氣問題回答中整理而來，主要以代碼實際解釋說明，需要的朋友可以參考下2015-03-03
這篇文章主要介紹了pytorch 出現(xiàn)損失反向傳播后梯度為none的問題，具有很好的參考價值，如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
利用python-pypcap抓取帶VLAN標簽的數(shù)據(jù)包方法
今天小編就為大家分享一篇利用python-pypcap抓取帶VLAN標簽的數(shù)據(jù)包方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
利用python實現(xiàn)聚類分析K-means算法的詳細過程
K-means算法是很典型的基于距離的聚類算法，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大，下面通過本文給大家介紹利用python實現(xiàn)聚類分析K-means算法的詳細過程，感興趣的朋友一起看看吧2021-11-11
tensorflow實現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡
這篇文章主要為大家詳細介紹了tensorflow實現(xiàn)簡單的卷積神經(jīng)網(wǎng)絡，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05
這篇文章主要介紹了Python基于sklearn庫的分類算法,結合簡單實例形式分析了Python使用sklearn庫封裝樸素貝葉斯、K近鄰、邏輯回歸、SVM向量機等常見機器學習算法的分類調用相關操作技巧,需要的朋友可以參考下2018-07-07
這篇文章主要介紹了python寫入文件自動換行問題的方法,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
這篇文章主要給大家介紹了關于python圖片修復程序的相關資料，可以用于實現(xiàn)圖片中水印去除，主要利用的是OpenCV這個框架實現(xiàn)的，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考借鑒，下面來一起看看吧2018-06-06
Pytorch中torch.cat()函數(shù)舉例解析
一般torch.cat()是為了把多個tensor進行拼接而存在的,下面這篇文章主要給大家介紹了關于Pytorch中torch.cat()函數(shù)舉例解析的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-12-12