詳解用python寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)-爬取新浪微博評(píng)論
更新時(shí)間：2019年05月10日 16:33:59 作者：Joliph
這篇文章主要介紹了python爬取新浪微博評(píng)論，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
新浪微博需要登錄才能爬取，這里使用m.weibo.cn這個(gè)移動(dòng)端網(wǎng)站即可實(shí)現(xiàn)簡(jiǎn)化操作，用這個(gè)訪(fǎng)問(wèn)可以直接得到的微博id。
分析新浪微博的評(píng)論獲取方式得知，其采用動(dòng)態(tài)加載。所以使用json模塊解析json代碼
單獨(dú)編寫(xiě)了字符優(yōu)化函數(shù)，解決微博評(píng)論中的嘈雜干擾字符
本函數(shù)是用python寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)的終極目的，所以采用函數(shù)化方式編寫(xiě)，方便后期優(yōu)化和添加各種功能
# -*- coding:gbk -*-
import re
import requests
import json
from lxml import html
#測(cè)試微博4054483400791767
comments=[]
def get_page(weibo_id):
url='https://m.weibo.cn/status/{}'.format(weibo_id)
html=requests.get(url).text
regcount=r'"comments_count": (.*?),'
comments_count=re.findall(regcount,html)[-1]
comments_count_number=int(comments_count)
page=int(comments_count_number/10)
return page-1
def opt_comment(comment):
tree=html.fromstring(comment)
strcom=tree.xpath('string(.)')
reg1=r'回復(fù)@.*?:'
reg2=r'回覆@.*?:'
reg3=r'//@.*'
newstr=''
comment1=re.subn(reg1,newstr,strcom)[0]
comment2=re.subn(reg2,newstr,comment1)[0]
comment3=re.subn(reg3,newstr,comment2)[0]
return comment3
def get_responses(id,page):
url="https://m.weibo.cn/api/comments/show?id={}&page={}".format(id,page)
response=requests.get(url)
return response
def get_weibo_comments(response):
json_response=json.loads(response.text)
for i in range(0,len(json_response['data'])):
comment=opt_comment(json_response['data'][i]['text'])
comments.append(comment)
weibo_id=input("輸入微博id，自動(dòng)返回前5頁(yè)評(píng)論：")
weibo_id=int(weibo_id)
print('\n')
page=get_page(weibo_id)
for page in range(1,page+1):
response=get_responses(weibo_id,page)
get_weibo_comments(response)
for com in comments:
print(com)
print(len(comments))
以上所述是小編給大家介紹的python爬取新浪微博評(píng)論詳解整合，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
Python實(shí)現(xiàn)二分查找與bisect模塊詳解
二分查找又叫折半查找，二分查找應(yīng)該屬于減治技術(shù)的成功應(yīng)用。python標(biāo)準(zhǔn)庫(kù)中還有一個(gè)灰常給力的模塊，那就是bisect。這個(gè)庫(kù)接受有序的序列，內(nèi)部實(shí)現(xiàn)就是二分。下面這篇文章就詳細(xì)介紹了Python如何實(shí)現(xiàn)二分查找與bisect模塊,需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-01-01
Python 文件操作之讀取文件(read)，文件指針與寫(xiě)入文件(write)，文件打開(kāi)方式示例
這篇文章主要介紹了Python 文件操作之讀取文件(read)，文件指針與寫(xiě)入文件(write)，文件打開(kāi)方式,結(jié)合實(shí)例形式分析了Python文件讀寫(xiě)相關(guān)的指針、打開(kāi)方式等相關(guān)操作技巧,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python使用defaultdict讀取文件各列的方法,涉及Python針對(duì)文件相關(guān)讀取、遍歷操作技巧,需要的朋友可以參考下2017-05-05
今天小編就為大家分享一篇Python徹底刪除文件夾及其子文件方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
linux 下實(shí)現(xiàn)python多版本安裝實(shí)踐
這篇文章主要介紹了linux 下實(shí)現(xiàn)python多版本安裝實(shí)踐,需要的朋友可以參考下2014-11-11
python實(shí)現(xiàn)簡(jiǎn)單的超市商品銷(xiāo)售管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)超市商品銷(xiāo)售管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-11-11
這篇文章主要給大家介紹了關(guān)于Python圖片縮放cv2.resize()的相關(guān)資料, resize是opencv庫(kù)中的一個(gè)函數(shù),主要起到對(duì)圖片進(jìn)行縮放的作用,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-10-10
Python提供了強(qiáng)大而靈活的文件I/O（輸入/輸出）工具,能夠讀取、寫(xiě)入和處理各種文件類(lèi)型,本文將詳細(xì)介紹Python文件I/O的使用技巧,需要的可以參考一下2023-12-12
Python查找不限層級(jí)Json數(shù)據(jù)中某個(gè)key或者value的路徑方式
今天小編就為大家分享一篇Python查找不限層級(jí)Json數(shù)據(jù)中某個(gè)key或者value的路徑方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
Python中實(shí)現(xiàn)文本預(yù)處理的方法小結(jié)
文本數(shù)據(jù)是數(shù)據(jù)科學(xué)和自然語(yǔ)言處理領(lǐng)域的關(guān)鍵組成部分,本文將深入探討Python中文本預(yù)處理的關(guān)鍵步驟,并提供豐富的示例代碼,希望對(duì)大家有所幫助2023-12-12