Python爬蟲(chóng) bilibili視頻彈幕提取過(guò)程詳解
更新時(shí)間：2019年07月31日 09:32:32 作者：Tanglaoer
這篇文章主要介紹了Python爬蟲(chóng) bilibili視頻彈幕提取過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
兩個(gè)重要點(diǎn)
1.獲取彈幕的url是以 .xml 結(jié)尾
2.彈幕url的所需參數(shù)在視頻url響應(yīng)的 javascript 中
先看代碼
import requests
from lxml import etree
import re
# 使用手機(jī)UA
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 視頻url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 獲取彈幕url的參數(shù)
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取數(shù)據(jù)
str_list = xml.xpath("http://d/text()")
# 寫(xiě)入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
for line in str_list:
f.write(line)
f.write('\n')
先找到彈幕的url，以.xml結(jié)尾，所以先找到這串?dāng)?shù)字所在的位置，并獲取這串?dāng)?shù)字發(fā)起第二次請(qǐng)求
而這串?dāng)?shù)字就在 第一次請(qǐng)求的響應(yīng)的JavaScript中，可以通過(guò) re 正則表達(dá)式進(jìn)行提取
接下來(lái)的工作就是獲取彈幕url返回的所有彈幕數(shù)據(jù)，然后對(duì)響應(yīng)進(jìn)行數(shù)據(jù)處理。
代碼示例中使用的是 lxml 進(jìn)行獲取。接著就是保存到個(gè)人本地文件中了
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)清除文件夾中重復(fù)視頻
本文將利用Python中的os、hashlib、shutil模塊實(shí)現(xiàn)對(duì)文件夾中的重復(fù)視頻進(jìn)行清除，實(shí)現(xiàn)文件夾中無(wú)重復(fù)文件情況發(fā)生，需要的可以參考一下2022-05-05
這篇文章主要給大家介紹了關(guān)于Python3匿名函數(shù)lambda與使用的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Python3具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
對(duì)Matlab中共軛、轉(zhuǎn)置和共軛裝置的區(qū)別說(shuō)明
這篇文章主要介紹了對(duì)Matlab中共軛、轉(zhuǎn)置和共軛裝置的區(qū)別說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
Pytorch中關(guān)于model.eval()的作用及分析
這篇文章主要介紹了Pytorch中關(guān)于model.eval()的作用及分析，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
Python?中?Pandas?文件操作和讀取?CSV?參數(shù)詳解
CSV?又稱(chēng)逗號(hào)分隔值文件，是一種簡(jiǎn)單的文件格式，以特定的結(jié)構(gòu)來(lái)排列表格數(shù)據(jù)，這篇文章主要介紹了Python?之?Pandas?文件操作和讀取?CSV?參數(shù)詳解,需要的朋友可以參考下2023-03-03
python同義詞替換的實(shí)現(xiàn)（jieba分詞）
這篇文章主要介紹了python同義詞替換的實(shí)現(xiàn)（jieba分詞），文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
說(shuō)到排序，很多人可能第一想到的就是sorted,但是你可能不知道python中其實(shí)還有還就中方法喲，并且好多種場(chǎng)景下效率都會(huì)比sorted高。那么接下來(lái)我就依次來(lái)介紹我所知道的排序操作2019-04-04
基于jupyter代碼無(wú)法在pycharm中運(yùn)行的解決方法
這篇文章主要介紹了基于jupyter代碼無(wú)法在pycharm中運(yùn)行的解決方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
python入門(mén)學(xué)習(xí)之自帶help功能初步使用示例
這篇文章主要為大家介紹了python入門(mén)學(xué)習(xí)自帶help功能初步使用示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
Python神器之使用watchdog監(jiān)控文件變化
這篇文章主要為大家詳細(xì)介紹了Python中的神器watchdog以及如何使用watchdog監(jiān)控文件變化,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解下2023-12-12