Python3使用正則表達(dá)式爬取內(nèi)涵段子示例
本文實(shí)例講述了Python3使用正則表達(dá)式爬取內(nèi)涵段子的方法。分享給大家供大家參考，具體如下：
似乎正則在爬蟲中用的不是很廣泛，但是也是基本功需要我們?nèi)フ莆铡?/p>
先將內(nèi)涵段子網(wǎng)頁(yè)爬取下來(lái)，之后利用正則進(jìn)行匹配，匹配完成后將匹配的段子寫入文本文檔內(nèi)。代碼如下：
# -*- coding:utf-8 -*-
from urllib import request as urllib2
import re
# 利用正則表達(dá)式爬取內(nèi)涵段子
url = r'http://www.neihanpa.com/article/list_5_{}.html'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
}
file_name = '內(nèi)涵段子.txt'
for page in range(2):
# 2表示頁(yè)數(shù)，可以自行調(diào)整
fullurl = url.format(str(page+1))
request = urllib2.Request(url=fullurl, headers=headers)
response = urllib2.urlopen(request)
html = response.read().decode('gbk')
# re.S 如果沒有re.S 則是只匹配一行有沒有符合規(guī)則的字符串，如果沒有則下一行重新匹配
# 如果加上re.S 則是將所有的字符串作為一個(gè)整體進(jìn)行匹配
pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S)
duanzis = pattern.findall(html)
for duanzi in duanzis:
duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('“','').replace('&rdquo','').replace('…','')
try:
# 將爬取的段子寫入文件
file = open(file_name,'a',encoding='utf-8')
file.write('\n'.join(duanzi.split()))
file.close()
except OSError as e:
print(e)
運(yùn)行后生成如下圖所示文件：
PS：這里再為大家提供2款非常方便的正則表達(dá)式工具供大家參考使用：
JavaScript正則表達(dá)式在線測(cè)試工具：
http://tools.jb51.net/regex/javascript
正則表達(dá)式在線生成工具：
http://tools.jb51.net/regex/create_reg
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
這篇文章主要介紹了Python 文件操作的詳解及實(shí)例的相關(guān)資料,希望通過本文大家能夠理解掌握Python 文件操作的知識(shí)，需要的朋友可以參考下2017-09-09
Python中Sorted()函數(shù)的key參數(shù)使用方法詳解
這篇文章主要介紹了關(guān)于Python中Sorted()函數(shù)的key參數(shù)使用方法 ,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-06-06
Matplotlib自定義坐標(biāo)軸刻度的實(shí)現(xiàn)示例
這篇文章主要介紹了Matplotlib自定義坐標(biāo)軸刻度的實(shí)現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
在Python中對(duì)于具有序列結(jié)構(gòu)的數(shù)據(jù)來(lái)說都可以使用切片操作，需注意的是序列對(duì)象某個(gè)索引位置返回的是一個(gè)元素，而切片操作返回是和被切片對(duì)象相同類型對(duì)象的副本。2018-09-09
同學(xué)發(fā)了我張迷宮圖片,讓我走迷宮來(lái)緩解暴躁,于是乎就碼了一個(gè)程序出來(lái),下面這篇文章主要給大家介紹了關(guān)于使用OpenCV實(shí)現(xiàn)迷宮解密的相關(guān)資料,需要的朋友可以參考下2022-10-10
基于Python+Pygame實(shí)現(xiàn)變異狗大戰(zhàn)游戲
只有你想不到，沒有我找不到寫不了的好游戲！這篇文章就來(lái)和大家分享一下如何基于Python+Pygame實(shí)現(xiàn)變異狗大戰(zhàn)游戲，感興趣的可以了解一下2023-03-03
python實(shí)現(xiàn)語(yǔ)音常用度量方法的代碼詳解
由于語(yǔ)音信號(hào)是一種緩慢變化的短時(shí)平穩(wěn)信號(hào)，因而在不同時(shí)間段上的信噪比也應(yīng)不一樣。為了改善上面的問題，可以采用分段信噪比。接下來(lái)通過本文給大家介紹python實(shí)現(xiàn)語(yǔ)音常用度量方法，感興趣的朋友跟隨小編一起看看吧2021-05-05
在tensorflow中設(shè)置保存checkpoint的最大數(shù)量實(shí)例
今天小編就為大家分享一篇在tensorflow中設(shè)置保存checkpoint的最大數(shù)量實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2020-01-01
總結(jié)用Pdb庫(kù)調(diào)試Python的方式及常用的命令
大家都知道Python是自帶Pdb庫(kù)，使用Pdb調(diào)試Python程序還是很方便的。但是遠(yuǎn)程調(diào)試、多線程，Pdb是搞不定的，下面一起來(lái)看看用Pdb庫(kù)調(diào)試Python的方式及常用的命令。2016-08-08
今天小編就為大家分享一篇pytorch 固定部分參數(shù)訓(xùn)練的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2019-08-08