python 爬取小說并下載的示例
代碼
import requests
import time
from tqdm import tqdm
from bs4 import BeautifulSoup
"""
Author:
Jack Cui
Wechat:
https://mp.weixin.qq.com/s/OCWwRVDFNslIuKyiCVUoTA
"""
def get_content(target):
req = requests.get(url = target)
req.encoding = 'utf-8'
html = req.text
bf = BeautifulSoup(html, 'lxml')
texts = bf.find('div', id='content')
content = texts.text.strip().split('\xa0'*4)
return content
if __name__ == '__main__':
server = 'https://www.xsbiquge.com'
book_name = '詭秘之主.txt'
target = 'https://www.xsbiquge.com/15_15338/'
req = requests.get(url = target)
req.encoding = 'utf-8'
html = req.text
chapter_bs = BeautifulSoup(html, 'lxml')
chapters = chapter_bs.find('div', id='list')
chapters = chapters.find_all('a')
for chapter in tqdm(chapters):
chapter_name = chapter.string
url = server + chapter.get('href')
content = get_content(url)
with open(book_name, 'a', encoding='utf-8') as f:
f.write(chapter_name)
f.write('\n')
f.write('\n'.join(content))
f.write('\n')
下載效果：
可以看到，小說內(nèi)容保存到“詭秘之主.txt”中，小說一共 1416 章，下載需要大約 20 分鐘，每秒鐘大約下載 1 個(gè)章節(jié)。
下載完成，實(shí)際花費(fèi)了 27 分鐘。
20 多分鐘下載一本小說，你可能感覺太慢了。想提速，可以使用多進(jìn)程，大幅提高下載速度。如果使用分布式，甚至可以1秒鐘內(nèi)下載完畢。
但是，我不建議這樣做。
我們要做一個(gè)友好的爬蟲，如果我們?nèi)ヌ崴?，那么我們?cè)L問的服務(wù)器也會(huì)面臨更大的壓力。
以我們這次下載小說的代碼為例，每秒鐘下載 1 個(gè)章節(jié)，服務(wù)器承受的壓力大約 1qps，意思就是，一秒鐘請(qǐng)求一次。
如果我們 1 秒同時(shí)下載 1416 個(gè)章節(jié)，那么服務(wù)器將承受大約 1416 qps 的壓力，這還是僅僅你發(fā)出的并發(fā)請(qǐng)求數(shù)，再算上其他的用戶的請(qǐng)求，并發(fā)量可能更多。
如果服務(wù)器資源不足，這個(gè)并發(fā)量足以一瞬間將服務(wù)器“打死”，特別是一些小網(wǎng)站，都很脆弱。
過大并發(fā)量的爬蟲程序，相當(dāng)于發(fā)起了一次 CC 攻擊，并不是所有網(wǎng)站都能承受百萬級(jí)別并發(fā)量的。
所以，寫爬蟲，一定要謹(jǐn)慎，勿給服務(wù)器增加過多的壓力，滿足我們的獲取數(shù)據(jù)的需求，這就夠了。
你好，我也好，大家好才是真的好。
以上就是python 爬取小說并下載的示例的詳細(xì)內(nèi)容，更多關(guān)于python 爬取小說下載的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python基于stuck實(shí)現(xiàn)scoket文件傳輸
這篇文章主要介紹了Python基于stuck實(shí)現(xiàn)scoket文件傳輸,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
Python Opencv實(shí)現(xiàn)最強(qiáng)美顏濾鏡效果
這篇文章主要介紹了如何利用Python OpenCV制作一個(gè)強(qiáng)大的美顏濾鏡效果，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以學(xué)習(xí)一下2022-03-03
Python面向?qū)ο蟪绦蛟O(shè)計(jì)類變量與成員變量、類方法與成員方法用法分析
這篇文章主要介紹了Python面向?qū)ο蟪绦蛟O(shè)計(jì)類變量與成員變量、類方法與成員方法用法,結(jié)合實(shí)例形式較為詳細(xì)的分析了類變量與成員變量、類方法與成員方法、類方法與靜態(tài)方法等概念、原理及使用技巧,需要的朋友可以參考下2019-04-04
這篇文章主要介紹了Django組件之cookie與session的使用方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-01-01
安裝Keras,tensorflow,并實(shí)現(xiàn)將虛擬環(huán)境添加到j(luò)upyter?notebook
這篇文章主要介紹了安裝Keras,tensorflow,并實(shí)現(xiàn)將虛擬環(huán)境添加到j(luò)upyter?notebook,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03
使用Python paramiko模塊利用多線程實(shí)現(xiàn)ssh并發(fā)執(zhí)行操作
ssh是一個(gè)協(xié)議，OpenSSH是其中一個(gè)開源實(shí)現(xiàn)，paramiko是Python的一個(gè)庫，實(shí)現(xiàn)了SSHv2協(xié)議(底層使用cryptography)。這篇文章主要介紹了使用Python paramiko模塊利用多線程實(shí)現(xiàn)ssh并發(fā)執(zhí)行操作,需要的朋友可以參考下2019-12-12
如何取消pyecharts繪制地圖時(shí)默認(rèn)顯示小圓點(diǎn)標(biāo)識(shí)
這篇文章主要介紹了如何取消pyecharts繪制地圖時(shí)默認(rèn)顯示小圓點(diǎn)標(biāo)識(shí)，文章內(nèi)容介紹詳細(xì)具有一定的參考價(jià)值?需要的小伙伴可以參考一下2022-04-04
在本篇文章里小編給大家分享的是關(guān)于Django分組聚合查詢實(shí)例內(nèi)容，需要的朋友們可以參考下。2020-04-04
Python中的socket網(wǎng)絡(luò)模塊介紹
這篇文章主要介紹了Python中的socket網(wǎng)絡(luò)模塊介紹，Python 中，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-07-07
利用Python如何實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的接口自動(dòng)化測試
這篇文章主要給大家介紹了關(guān)于利用Python如何實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的接口自動(dòng)化測試的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們來一起看看吧2018-05-05