快捷導(dǎo)航

利用python爬取散文網(wǎng)的文章實(shí)例教程

更新時(shí)間：2017年06月18日 16:12:35 作者：baddog_

這篇文章主要跟大家介紹了利用python爬取散文網(wǎng)文章的相關(guān)資料，文中介紹的非常詳細(xì)，對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起看看吧。

本文主要給大家介紹的是關(guān)于python爬取散文網(wǎng)文章的相關(guān)內(nèi)容，分享出來供大家參考學(xué)習(xí)，下面一起來看看詳細(xì)的介紹：

效果圖如下：

配置python 2.7

 bs4

 requests

安裝用pip進(jìn)行安裝 sudo pip install bs4

sudo pip install requests

簡(jiǎn)要說明一下bs4的使用因?yàn)槭桥廊【W(wǎng)頁所以就介紹find 跟find_all

find跟find_all的不同在于返回的東西不同 find返回的是匹配到的第一個(gè)標(biāo)簽及標(biāo)簽里的內(nèi)容

find_all返回的是一個(gè)列表

比如我們寫一個(gè)test.html 用來測(cè)試find跟find_all的區(qū)別。

內(nèi)容是：

<html>
<head>
</head>
<body>
<div id="one"><a></a></div>
<div id="two"><a href="#" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >abc</a></div>
<div id="three"><a href="#" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >three a</a><a href="#" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >three a</a><a href="#" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >three a</a></div>
<div id="four"><a href="#" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >four<p>four p</p><p>four p</p><p>four p</p> a</a></div>
</body>
</html>

然后test.py的代碼為：

from bs4 import BeautifulSoup
import lxml

if __name__=='__main__':
 s = BeautifulSoup(open('test.html'),'lxml')
 print s.prettify()
 print "------------------------------"
 print s.find('div')
 print s.find_all('div')
 print "------------------------------"
 print s.find('div',id='one')
 print s.find_all('div',id='one')
 print "------------------------------"
 print s.find('div',id="two")
 print s.find_all('div',id="two")
 print "------------------------------"
 print s.find('div',id="three")
 print s.find_all('div',id="three")
 print "------------------------------"
 print s.find('div',id="four")
 print s.find_all('div',id="four")
 print "------------------------------"

運(yùn)行以后我們可以看到結(jié)果當(dāng)獲取指定標(biāo)簽時(shí)候兩者區(qū)別不大當(dāng)獲取一組標(biāo)簽的時(shí)候兩者的區(qū)別就會(huì)顯示出來

所以我們?cè)谑褂脮r(shí)候要注意到底要的是什么，否則會(huì)出現(xiàn)報(bào)錯(cuò)

接下來就是通過requests 獲取網(wǎng)頁信息了，我不太懂別人為什么要寫heard跟其他的東西

我直接進(jìn)行網(wǎng)頁訪問，通過get方式獲取散文網(wǎng)幾個(gè)分類的二級(jí)網(wǎng)頁然后通過一個(gè)組的測(cè)試，把所有的網(wǎng)頁爬取一遍

def get_html():
 url = "https://www.sanwen.net/"
 two_html = ['sanwen','shige','zawen','suibi','rizhi','novel']
 for doc in two_html:
 i=1
  if doc=='sanwen':
  print "running sanwen -----------------------------"
  if doc=='shige':
  print "running shige ------------------------------"
  if doc=='zawen':
  print 'running zawen -------------------------------'
  if doc=='suibi':
  print 'running suibi -------------------------------'
  if doc=='rizhi':
  print 'running ruzhi -------------------------------'
  if doc=='nove':
  print 'running xiaoxiaoshuo -------------------------'
 while(i<10):
 par = {'p':i}
 res = requests.get(url+doc+'/',params=par)
 if res.status_code==200:
  soup(res.text)
  i+=i

這部分的代碼中我沒有對(duì)res.status_code不是200的進(jìn)行處理，導(dǎo)致的問題是會(huì)不顯示錯(cuò)誤，爬取的內(nèi)容會(huì)有丟失。然后分析散文網(wǎng)的網(wǎng)頁，發(fā)現(xiàn)是www.sanwen.net/rizhi/&p=1

p最大值是10這個(gè)不太懂，上次爬盤多多是100頁，算了算了以后再分析。然后就通過get方法獲取每頁的內(nèi)容。

獲取每頁內(nèi)容以后就是分析作者跟題目了代碼是這樣的

def soup(html_text):
 s = BeautifulSoup(html_text,'lxml')
 link = s.find('div',class_='categorylist').find_all('li')
 for i in link:
 if i!=s.find('li',class_='page'):
 title = i.find_all('a')[1]
 author = i.find_all('a')[2].text
 url = title.attrs['href']
 sign = re.compile(r'(//)|/')
 match = sign.search(title.text)
 file_name = title.text
 if match:
 file_name = sign.sub('a',str(title.text))

獲取標(biāo)題的時(shí)候出現(xiàn)的事，請(qǐng)問大佬們寫散文你標(biāo)題加斜杠干嘛，不光加一個(gè)還有加兩個(gè)的，這個(gè)問題直接導(dǎo)致我后面寫入文件的時(shí)候文件名出現(xiàn)錯(cuò)誤，于是寫正則表達(dá)式，我給你改行了吧。

最后就是獲取散文內(nèi)容了，通過每頁的分析，獲得文章地址，然后直接獲取內(nèi)容，本來還想直接通過改網(wǎng)頁地址一個(gè)一個(gè)的獲得呢，這樣也省事了。

def get_content(url):
 res = requests.get('https://www.sanwen.net'+url)
 if res.status_code==200:
 soup = BeautifulSoup(res.text,'lxml')
 contents = soup.find('div',class_='content').find_all('p')
 content = ''
 for i in contents:
 content+=i.text+'\n'
 return content

最后就是寫入文件保存ok

 f = open(file_name+'.txt','w')

 print 'running w txt'+file_name+'.txt'
 f.write(title.text+'\n')
 f.write(author+'\n')
 content=get_content(url) 
 f.write(content)
 f.close()

三個(gè)函數(shù)獲取散文網(wǎng)的散文，不過有問題，問題在于不知道為什么有些散文丟失了我只能獲取到大概400多篇文章，這跟散文網(wǎng)的文章是差很多很多的，但是確實(shí)是一頁一頁的獲取來的，這個(gè)問題希望大佬幫忙看看?？赡軕?yīng)該做網(wǎng)頁無法訪問的處理，當(dāng)然我覺得跟我宿舍這個(gè)網(wǎng)有關(guān)系

 f = open(file_name+'.txt','w')
 print 'running w txt'+file_name+'.txt'
 f.write(title.text+'\n')
 f.write(author+'\n')
 content=get_content(url) 
 f.write(content)
 f.close()

差點(diǎn)忘了效果圖