如何使用python爬取csdn博客訪(fǎng)問(wèn)量
最近學(xué)習(xí)了python和爬蟲(chóng)，想寫(xiě)一個(gè)程序練練手，所以我就想到了大家都比較關(guān)心的自己的博客訪(fǎng)問(wèn)量，使用python來(lái)獲取自己博客的訪(fǎng)問(wèn)量，這也是后邊我將要進(jìn)行的項(xiàng)目的一部分，后邊我會(huì)對(duì)博客的訪(fǎng)問(wèn)量進(jìn)行分析，以折線(xiàn)圖和餅圖等可視化的方式展示自己博客被訪(fǎng)問(wèn)的情況，使自己能更加清楚自己的哪些博客更受關(guān)注，博客專(zhuān)家請(qǐng)勿噴，因?yàn)槲也皇菍?zhuān)家，我聽(tīng)他們說(shuō)專(zhuān)家本身就有這個(gè)功能。
一、網(wǎng)址分析
進(jìn)入自己的博客頁(yè)面，網(wǎng)址為：http://blog.csdn.net/xingjiarong 網(wǎng)址還是非常清晰的就是csdn的網(wǎng)址+個(gè)人csdn登錄賬號(hào)，我們來(lái)看一下下一頁(yè)的網(wǎng)址。
看到第二頁(yè)的地址為：http://blog.csdn.net/xingjiarong/article/list/2
后邊的數(shù)字表示現(xiàn)在正處于第幾頁(yè)，再用其他的頁(yè)面驗(yàn)證一下，確實(shí)是這樣的，那么第一頁(yè)為什么不是http://blog.csdn.net/xingjiarong/article/list/1呢，那么我們?cè)跒g覽器中輸入http://blog.csdn.net/xingjiarong/article/list/1試試，哎，果然是第一頁(yè)啊，其實(shí)第一頁(yè)是被重定向了，http://blog.csdn.net/xingjiarong被重定向到http://blog.csdn.net/xingjiarong/article/list/1，所以?xún)蓚€(gè)網(wǎng)址都能訪(fǎng)問(wèn)第一頁(yè)，那么現(xiàn)在規(guī)律就非常明顯了：
http://blog.csdn.net/xingjiarong/article/list/ + 頁(yè)號(hào)
二、如何獲取標(biāo)題
右鍵查看網(wǎng)頁(yè)的源代碼，我們看到可以找到這樣一段代碼：
我們可以看到標(biāo)題都是在標(biāo)簽
<span class="link_title"><a href="/xingjiarong/article/details/50651235">
所以我們可以使用下面的正則表達(dá)式來(lái)匹配標(biāo)題：
<span class="link_title"><a href=".*?">(.*?)</a></span>
三、如何獲取訪(fǎng)問(wèn)量
拿到了標(biāo)題之后，就要獲得對(duì)應(yīng)的訪(fǎng)問(wèn)量了，經(jīng)過(guò)對(duì)源碼的分析，我看到訪(fǎng)問(wèn)量的結(jié)構(gòu)都是這樣的：
<span class="link_view" title="閱讀次數(shù)"> <a href="/xingjiarong/article/details/50651235" title="閱讀次數(shù)">閱讀</a>(1140)</span>
括號(hào)中的數(shù)字即為訪(fǎng)問(wèn)量，我們可以用下面的正則表達(dá)式來(lái)匹配：
<span class="link_view".*?><a href=".*?" title="閱讀次數(shù)">閱讀</a>\((.*?)\)</span>
四、如何判斷是否為尾頁(yè)
接下來(lái)我們要判斷當(dāng)前頁(yè)是否為最后一頁(yè)，否則我們就不能判斷什么時(shí)候結(jié)束了，我找到了源碼中‘尾頁(yè)'的標(biāo)簽，發(fā)現(xiàn)是下面的結(jié)構(gòu)：
<a href="/xingjiarong/article/list/2">下一頁(yè)</a> <a href="/xingjiarong/article/list/7">尾頁(yè)</a>
所以我們可以用下面的正則表達(dá)式來(lái)匹配，如果匹配成功就說(shuō)明當(dāng)前頁(yè)不是最后一頁(yè)，否則當(dāng)前頁(yè)就是最后一頁(yè)。
<a href=".*?">尾頁(yè)</a>
五、編程實(shí)現(xiàn)
下面是完整的代碼實(shí)現(xiàn)：
#!usr/bin/python
# -*- coding: utf-8 -*-
'''
Created on 2016年2月13日
@author: xingjiarong
使用python爬取csdn個(gè)人博客的訪(fǎng)問(wèn)量，主要用來(lái)練手
'''
import urllib2
import re
#當(dāng)前的博客列表頁(yè)號(hào)
page_num = 1
#不是最后列表的一頁(yè)
notLast = 1
account = str(raw_input('輸入csdn的登錄賬號(hào):'))
while notLast:
#首頁(yè)地址
baseUrl = 'http://blog.csdn.net/'+account
#連接頁(yè)號(hào)，組成爬取的頁(yè)面網(wǎng)址
myUrl = baseUrl+'/article/list/'+str(page_num)
#偽裝成瀏覽器訪(fǎng)問(wèn)，直接訪(fǎng)問(wèn)的話(huà)csdn會(huì)拒絕
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent':user_agent}
#構(gòu)造請(qǐng)求
req = urllib2.Request(myUrl,headers=headers)
#訪(fǎng)問(wèn)頁(yè)面
myResponse = urllib2.urlopen(req)
myPage = myResponse.read()
#在頁(yè)面中查找是否存在‘尾頁(yè)'這一個(gè)標(biāo)簽來(lái)判斷是否為最后一頁(yè)
notLast = re.findall('<a href=".*?">尾頁(yè)</a>',myPage,re.S)
print '-----------------------------第%d頁(yè)---------------------------------' % (page_num,)
#利用正則表達(dá)式來(lái)獲取博客的標(biāo)題
title = re.findall('<span class="link_title"><a href=".*?">(.*?)</a></span>',myPage,re.S)
titleList=[]
for items in title:
titleList.append(str(items).lstrip().rstrip())
#利用正則表達(dá)式獲取博客的訪(fǎng)問(wèn)量
view = re.findall('<span class="link_view".*?><a href=".*?" title="閱讀次數(shù)">閱讀</a>\((.*?)\)</span>',myPage,re.S)
viewList=[]
for items in view:
viewList.append(str(items).lstrip().rstrip())
#將結(jié)果輸出
for n in range(len(titleList)):
print '訪(fǎng)問(wèn)量:%s 標(biāo)題:%s' % (viewList[n].zfill(4),titleList[n])
#頁(yè)號(hào)加1
page_num = page_num + 1
下面是部分結(jié)果：
輸入csdn的登錄賬號(hào):xingjiarong -----------------------------第1頁(yè)--------------------------------- 訪(fǎng)問(wèn)量:1821 標(biāo)題:python編程常用模板總結(jié) 訪(fǎng)問(wèn)量:1470 標(biāo)題:設(shè)計(jì)模式之UML（一）類(lèi)圖以及類(lèi)間關(guān)系（泛化 、實(shí)現(xiàn)、依賴(lài)、關(guān)聯(lián)、聚合、組合） 訪(fǎng)問(wèn)量:0714 標(biāo)題:ubuntu14.04 安裝并破解MyEclipse2014 訪(fǎng)問(wèn)量:1040 標(biāo)題:ubuntu14.04 配置tomcat8 訪(fǎng)問(wèn)量:1355 標(biāo)題:java調(diào)用python方法總結(jié) 訪(fǎng)問(wèn)量:0053 標(biāo)題:Java多線(xiàn)程之Callable和Future 訪(fǎng)問(wèn)量:1265 標(biāo)題:跟我學(xué)匯編（三）寄存器和物理地址的形成 訪(fǎng)問(wèn)量:1083 標(biāo)題:跟我學(xué)匯編（二）王爽匯編環(huán)境搭建 訪(fǎng)問(wèn)量:0894 標(biāo)題:跟我學(xué)匯編（一）基礎(chǔ)知識(shí) 訪(fǎng)問(wèn)量:2334 標(biāo)題:java多線(xiàn)程（一）Race Condition現(xiàn)象及產(chǎn)生的原因 訪(fǎng)問(wèn)量:0700 標(biāo)題:Matlab矩陣基礎(chǔ) 訪(fǎng)問(wèn)量:0653 標(biāo)題:Matlab變量、分支語(yǔ)句和循環(huán)語(yǔ)句 訪(fǎng)問(wèn)量:0440 標(biāo)題:Matlab字符串處理 訪(fǎng)問(wèn)量:0514 標(biāo)題:Matlab運(yùn)算符與運(yùn)算 訪(fǎng)問(wèn)量:0533 標(biāo)題:Matlab的數(shù)據(jù)類(lèi)型 -----------------------------第2頁(yè)--------------------------------- 訪(fǎng)問(wèn)量:0518 標(biāo)題:OpenStack設(shè)計(jì)與實(shí)現(xiàn)（五）RESTful API和WSGI 訪(fǎng)問(wèn)量:0540 標(biāo)題:解決Android SDK Manager下載太慢問(wèn)題 訪(fǎng)問(wèn)量:0672 標(biāo)題:OpenStack設(shè)計(jì)與實(shí)現(xiàn)（四）消息總線(xiàn)（AMQP） 訪(fǎng)問(wèn)量:0570 標(biāo)題:分布式文件存儲(chǔ)FastDFS（五）FastDFS常用命令總結(jié) 訪(fǎng)問(wèn)量:0672 標(biāo)題:分布式文件存儲(chǔ)FastDFS（四）配置fastdfs-apache-module 訪(fǎng)問(wèn)量:0979 標(biāo)題:分布式文件存儲(chǔ)FastDFS（一）初識(shí)FastDFS 訪(fǎng)問(wèn)量:0738 標(biāo)題:分布式文件存儲(chǔ)FastDFS（三）FastDFS配置 訪(fǎng)問(wèn)量:0682 標(biāo)題:分布式文件存儲(chǔ)FastDFS（二）FastDFS安裝 訪(fǎng)問(wèn)量:0511 標(biāo)題:OpenStack設(shè)計(jì)與實(shí)現(xiàn)（三）KVM和QEMU淺析 訪(fǎng)問(wèn)量:0593 標(biāo)題:OpenStack設(shè)計(jì)與實(shí)現(xiàn)（二）Libvirt簡(jiǎn)介與實(shí)現(xiàn)原理 訪(fǎng)問(wèn)量:0562 標(biāo)題:OpenStack設(shè)計(jì)與實(shí)現(xiàn)（一）虛擬化 訪(fǎng)問(wèn)量:0685 標(biāo)題:食堂買(mǎi)飯的啟示 訪(fǎng)問(wèn)量:0230 標(biāo)題:UML之時(shí)序圖詳解 訪(fǎng)問(wèn)量:0890 標(biāo)題:設(shè)計(jì)模式之橋梁模式和策略模式的區(qū)別 訪(fǎng)問(wèn)量:1258 標(biāo)題:設(shè)計(jì)模式（十二）責(zé)任鏈模式
總結(jié)：
使用python編寫(xiě)爬蟲(chóng)，我個(gè)人總結(jié)了以下的步驟：
1、分析要抓取的網(wǎng)址特征，以確定如何生成相關(guān)網(wǎng)頁(yè)的網(wǎng)址，如果只爬取一個(gè)網(wǎng)頁(yè)，則這一步可以省略。
2、查看網(wǎng)頁(yè)的源碼，分析自己想要爬取的內(nèi)容所在的標(biāo)簽的特征。
3、使用正則表達(dá)式從源碼中將自己想要的部分摳出來(lái)。
4、編程實(shí)現(xiàn)。
以上內(nèi)容是針對(duì)如何使用python爬取csdn博客訪(fǎng)問(wèn)量的相關(guān)知識(shí)，希望對(duì)大家有所幫助。
相關(guān)文章
今天小編就為大家分享一篇PyTorch的SoftMax交叉熵?fù)p失和梯度用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
安裝不同版本的tensorflow與models方法實(shí)現(xiàn)
這篇文章主要介紹了安裝不同版本的tensorflow與models方法實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
TensorFlow自定義損失函數(shù)來(lái)預(yù)測(cè)商品銷(xiāo)售量
這篇文章主要介紹了TensorFlow自定義損失函數(shù)——預(yù)測(cè)商品銷(xiāo)售量,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
調(diào)試是寫(xiě)出良好代碼的必備條件，Birdseye是一款優(yōu)秀的用于python的調(diào)試工具，本文簡(jiǎn)單的介紹了Birdseye的使用方法2021-05-05
今天小編就為大家分享一篇在django模板中實(shí)現(xiàn)超鏈接配置，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
如何用Pythony驗(yàn)證萬(wàn)物歸一(考拉咨猜想)
考拉咨猜想簡(jiǎn)單的來(lái)說(shuō)，就是你隨便給我一個(gè)整數(shù),我最后都是會(huì)通過(guò)固定的規(guī)則演變成"1",萬(wàn)物歸一.今天我們就用那Python驗(yàn)證一下這個(gè)猜想2021-06-06
本文主要介紹了用Python將圖片轉(zhuǎn)為黑白字符畫(huà)的方法，使用ascii字符把圖片轉(zhuǎn)為黑白字符畫(huà)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
Python venv虛擬環(huán)境配置過(guò)程解析
這篇文章主要介紹了Python venv虛擬環(huán)境配置過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
對(duì)python判斷ip是否可達(dá)的實(shí)例詳解
今天小編就為大家分享一篇對(duì)python判斷ip是否可達(dá)的實(shí)例詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
樹(shù)莓派安裝OpenCV3完整過(guò)程的實(shí)現(xiàn)
這篇文章主要介紹了樹(shù)莓派安裝OpenCV3完整過(guò)程的實(shí)現(xiàn)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-10-10