Python實現(xiàn)爬取某站視頻彈幕并繪制詞云圖
前言
[課 題]：
Python爬取某站視頻彈幕或者騰訊視頻彈幕，繪制詞云圖
[知識點]：
1. 爬蟲基本流程
2. 正則
3. requests >>> pip install requests
4. jieba >>> pip install jieba
5. imageio >>> pip install imageio
6. wordcloud? >>> pip install wordcloud
[開發(fā)環(huán)境]：
Python 3.8
Pycharm
win + R 輸入cmd 輸入安裝命令 pip install 模塊名 如果出現(xiàn)爆紅 可能是因為 網(wǎng)絡連接超時 切換國內(nèi)鏡像源
相對應的安裝包/安裝教程/激活碼/使用教程/學習資料/工具插件 可以找我
爬取彈幕
爬蟲基本思路流程
一. 數(shù)據(jù)來源分析
1. 確定我們想要數(shù)據(jù)是什么?
爬取某站彈幕數(shù)據(jù) 保存文本txt
2. 通過開發(fā)者工具進行抓包分析...
通過 接口可以直接找到視頻的彈幕數(shù)據(jù)地址
二. 爬蟲代碼實現(xiàn)步驟
1. 發(fā)送請求,? 對于（評論看） 發(fā)送請求
需要注意點:
- - 請求方式確定
- - 請求頭參數(shù)
2. 獲取數(shù)據(jù), 獲取服務器返回的數(shù)據(jù)
3. 解析數(shù)據(jù), 提取我們想要數(shù)據(jù)內(nèi)容, 彈幕數(shù)據(jù)
4. 保存數(shù)據(jù), 把獲取下來的數(shù)據(jù)內(nèi)容保存txt文本
模擬瀏覽器對于服務器發(fā)送請求
導入模塊
import requests # 數(shù)據(jù)請求模塊 第三方模塊 pip install requests import re # 正則表達式模塊 內(nèi)置模塊 不需要安裝
代碼
# # 1. 發(fā)送請求
# url = '（評論看）'
# # headers 請求頭 作用把Python代碼進行偽裝, 模擬成瀏覽器去發(fā)送請求
# # user-agent 瀏覽器基本身份標識
# # headers 請求頭 字典數(shù)據(jù)類型
# headers = {
# 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
# }
# # 通過requests模塊里面get請求方法, 對于url地址發(fā)送請求, 并且攜帶上headers請求頭, 最后用response變量去接收返回數(shù)據(jù)
# response = requests.get(url=url, headers=headers)
# response.encoding = response.apparent_encoding
# # <Response [200]> response對象 200狀態(tài)碼 表示請求成功
# # 如果你想要獲取 網(wǎng)頁源代碼一樣的數(shù)據(jù)內(nèi)容的話, 是獲取響應體的文本數(shù)據(jù)
# # 如果服務器返回的數(shù)據(jù), 不是完整json數(shù)據(jù) 字典數(shù)據(jù) 直接獲取response.json()就會報錯
# # 2. 獲取數(shù)據(jù) response.text 返回數(shù)據(jù) html字符串數(shù)據(jù)
# # print(response.text)
# # 3. 解析數(shù)據(jù), 解析方式 re[可以直接對于字符串數(shù)據(jù)進行提取] css xpath [主要根據(jù)標簽屬性/節(jié)點提取數(shù)據(jù)]
# # () 精確匹配 表示想要的數(shù)據(jù) 泛匹配 .*? 正則表達式元字符 可以匹配任意字符(除了換行符\n以外)
# data_list = re.findall('<d p=".*?">(.*?)</d>', response.text)
# for index in data_list:
# # mode 保存方式 encoding 編碼
# # pprint.pprint() 格式化輸入 json字典數(shù)據(jù)
# with open('彈幕.txt', mode='a', encoding='utf-8') as f:
# f.write(index)
# f.write('\n')
# print(index)
url = 'https://mapi.vip.com/vips-mobile/rest/shopping/pc/search/product/rank?callback=getMerchandiseIds&app_name=shop_pc&app_version=4.0&warehouse=VIP_NH&fdc_area_id=104104101&client=pc&mobile_platform=1&province_id=104104&api_key=70f71280d5d547b2a7bb370a529aeea1&user_id=&mars_cid=1634797375792_17a23bdc351b36f2915c2f7ec16dc88e&wap_consumer=a&standby_id=nature&keyword=%E5%8F%A3%E7%BA%A2&lv3CatIds=&lv2CatIds=&lv1CatIds=&brandStoreSns=&props=&priceMin=&priceMax=&vipService=&sort=0&pageOffset=0&channelId=1&gPlatform=PC&batchSize=120&_=1639640088314'
headers = {
'referer': 'https://category.vip.com/',
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
print(response.text)
制作詞云圖
[知識點]：
1. 爬蟲基本流程
2. 正則
3. requests >>> pip install requests
4. jieba >>> pip install jieba
5. imageio >>> pip install imageio
6. wordcloud? >>> pip install wordcloud
[開發(fā)環(huán)境]：
Python 3.8
Pycharm
導入模塊
import jieba # 結巴分詞 pip install jieba
import wordcloud # 詞云圖 pip install wordcloud
import imageio # 讀取本地圖片 修改詞云圖形
img = imageio.imread('蘋果.png')
讀取彈幕數(shù)據(jù)
f = open('彈幕.txt', encoding='utf-8')
text = f.read()
# print(text)
分詞, 把一句話 分割成很多詞匯
text_list = jieba.lcut(text) print(text_list) # 列表轉成字符串 text_str = ' '.join(text_list) print(text_str)
詞云圖配置
wc = wordcloud.WordCloud(
width=500, # 寬度
height=500, # 高度
background_color='white', # 背景顏色
mask=img,
stopwords={'每', '一個', '了', '的', '夢想', '助力'},
font_path='msyh.ttc' # 字體文件
)
wc.generate(text_str)
wc.to_file('詞云1.png')
?到此這篇關于Python實現(xiàn)爬取某站視頻彈幕并繪制詞云圖的文章就介紹到這了,更多相關Python爬取視頻彈幕 繪制詞云圖內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python函數(shù)基本使用原理詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-03-03
本文給大家總結了python中常用函數(shù)，非常的細致全面，有需要的小伙伴可以參考下2016-09-09
pycharm在調(diào)試python時執(zhí)行其他語句的方法
今天小編就為大家分享一篇pycharm在調(diào)試python時執(zhí)行其他語句的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
這篇文章主要介紹了提升Python程序性能的7個習慣，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-04-04
這篇文章主要介紹了Python繪制動態(tài)水球圖過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
利用python numpy+matplotlib繪制股票k線圖的方法
這篇文章主要介紹了利用python numpy+matplotlib繪制股票k線圖的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-06-06
Python圖像處理之圖像的縮放、旋轉與翻轉實現(xiàn)方法示例
這篇文章主要介紹了Python圖像處理之圖像的縮放、旋轉與翻轉實現(xiàn)方法,結合實例形式分析了Python使用resize()、rotate()及transpose()等函數(shù)進行圖像的縮放、旋轉及翻轉相關操作技巧,需要的朋友可以參考下2019-01-01
Playwright是一個強大而靈活的Python庫,用于自動化瀏覽器操作和測試,本文主要介紹了深入理解Playwright的高級功能和用法,具有一定的 參考價值,感興趣的可以了解一下2024-05-05
python?matplotlib繪圖過程中設置線條顏色實戰(zhàn)舉例
Matplotlib是一個用于數(shù)據(jù)可視化和創(chuàng)建交互式圖表的Python庫,下面這篇文章主要給大家介紹了關于python?matplotlib繪圖過程中設置線條顏色的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-05-05
這篇文章主要為大家介紹了AI與Python啟發(fā)式搜索概念詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05