Python 制作糗事百科爬蟲實(shí)例
更新時(shí)間：2016年09月22日 08:41:41 作者：千里追風(fēng)
本文是結(jié)合前面的三篇關(guān)于python制作爬蟲的基礎(chǔ)文章，給大家分享的一份爬取糗事百科的小段子的源碼，有需要的小伙伴可以參考下
早上起來閑來無事做，莫名其妙的就彈出了糗事百科的段子，轉(zhuǎn)念一想既然你送上門來，那我就寫個(gè)爬蟲到你網(wǎng)站上爬一爬吧，一來當(dāng)做練練手，二來也算找點(diǎn)樂子。
其實(shí)這兩天也正在接觸數(shù)據(jù)庫的內(nèi)容，可以將爬取下來的數(shù)據(jù)保存在數(shù)據(jù)庫中，以待以后的利用。好了，廢話不多說了，先來看看程序爬取的數(shù)據(jù)結(jié)果
值得一提的是，我在程序中想一下子爬取糗事百科 30 頁的內(nèi)容，但是出現(xiàn)了連接錯(cuò)誤，當(dāng)我把頁數(shù)降到 20 頁的時(shí)候，程序就可以正常的跑起來了，不知道是什么原因，渴望知道的大神可以告訴我一聲，感激不盡。
程序非常簡(jiǎn)單，直接上源代碼咯
# coding=utf8
import re
import requests
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
def getnewpage(url, total):
nowpage = int(re.search('(\d+)', url, re.S).group(1))
urls = []
for i in range(nowpage, total + 1):
link = re.sub('(\d+)', '%s' % i, url, re.S)
urls.append(link)
return urls
def spider(url):
html = requests.get(url)
selector = etree.HTML(html.text)
author = selector.xpath('//*[@id="content-left"]/div/div[1]/a[2]/@title')
content = selector.xpath('//*[@id="content-left"]/div/div[2]/text()')
vote = selector.xpath('//*[@id="content-left"]/div/div[3]/span/i/text()')
length = len(author)
for i in range(0, length):
f.writelines('作者 : ' + author[i] + '\n')
f.writelines('內(nèi)容 ：' + str(content[i]).replace('\n','') + '\n')
f.writelines('支持 ： ' + vote[i] + '\n\n')
if __name__ == '__main__':
f = open('info.txt', 'a')
url = 'http://www.qiushibaike.com/text/page/1/'
urls = getnewpage(url, 20)
pool = ThreadPool(4)
pool.map(spider,urls)
f.close()
如果其中有不懂得部分，可以依次參考我的前三篇文章。
相關(guān)文章
Python中集成了專用于處理csv文件的庫，名為：csv，本文給大家介紹了Python使用csv庫處理CSV文件的方法及csv庫中4個(gè)常用的對(duì)象，結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2023-06-06
這篇文章主要為大家詳細(xì)介紹了Python多線程爬蟲簡(jiǎn)單示例，感興趣的小伙伴們可以參考一下2016-03-03
深入理解Python?@dataclass的內(nèi)部原理
文章介紹了Python中dataclass的實(shí)現(xiàn)原理,通過自定義裝飾器實(shí)現(xiàn)了__init__和__repr__方法,并解釋了__annotations__屬性和exec函數(shù)在其中的作用,感興趣的朋友跟隨小編一起看看吧2025-01-01
python連接mysql調(diào)用存儲(chǔ)過程示例
這篇文章主要介紹了python連接mysql調(diào)用存儲(chǔ)過程示例,需要的朋友可以參考下2014-03-03
這篇文章主要介紹了Python 編程速成,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-04-04
python itchat實(shí)現(xiàn)調(diào)用微信接口的第三方模塊方法
這篇文章主要介紹了python itchat實(shí)現(xiàn)調(diào)用微信接口的第三方模塊方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
python導(dǎo)出chrome書簽到markdown文件的實(shí)例代碼
python導(dǎo)出chrome書簽到markdown文件，主要就是解析chrome的bookmarks文件，然后拼接成markdown格式的字符串，最后輸出到文件即可。下面給大家分享實(shí)例代碼，需要的朋友參考下2017-12-12
Python實(shí)現(xiàn)html轉(zhuǎn)換為pdf報(bào)告(生成pdf報(bào)告)功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)html轉(zhuǎn)換為pdf報(bào)告功能,結(jié)合實(shí)例形式分析了Python使用pdfkit實(shí)現(xiàn)HTML轉(zhuǎn)換為PDF的相關(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2019-05-05
這篇文章主要給大家介紹了關(guān)于利用Python寫一個(gè)爬妹子爬蟲的相關(guān)資料，文中通過實(shí)例代碼將實(shí)現(xiàn)的方法一步步介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-06-06
re.findall()?函數(shù)是?python?中正則表達(dá)式模塊（re）的一個(gè)重要函數(shù),它可以根據(jù)正則表達(dá)式搜索字符串,并返回匹配的字符串列表,這篇文章給大家介紹了python中re.findall()?的使用案例,感興趣的朋友跟隨小編一起看看吧2023-09-09