Python爬蟲之線程池的使用
更新時間：2021年05月11日 15:46:44 作者：世界的隱喻
這篇文章主要介紹了Python爬蟲之線程池的使用,文中有非常詳細的的代碼示例，對正在學習python爬蟲的小伙伴們很有幫助喲。需要的朋友可以參考下
一、前言
學到現(xiàn)在，我們可以說已經學習了爬蟲的基礎知識，如果沒有那些奇奇怪怪的反爬蟲機制，基本上只要有時間分析，一般的數據都是可以爬取的，那么到了這個時候我們需要考慮的就是爬取的效率了，關于提高爬蟲效率，也就是實現(xiàn)異步爬蟲，我們可以考慮以下兩種方式：一是線程池的使用（也就是實現(xiàn)單進程下的多線程），一是協(xié)程的使用（如果沒有記錯，我所使用的協(xié)程模塊是從python3.4以后引入的，我寫博客時使用的python版本是3.9）。
今天我們先來講講線程池。
二、同步代碼演示
我們先用普通的同步的形式寫一段代碼
import time
def func(url):
print("正在下載：", url)
time.sleep(2)
print("下載完成：", url)
if __name__ == '__main__':
start = time.time() # 開始時間
url_list = [
"a", "b", "c"
]
for url in url_list:
func(url)
end = time.time() # 結束時間
print(end - start)
對于代碼運行的結果我們心里都有數，但還是讓我們來看一下吧
不出所料。運行時間果然是六秒
三、異步，線程池代碼
那么如果我們使用線程池運行上述代碼又會怎樣呢？
import time
from multiprocessing import Pool
def func(url):
print("正在下載：", url)
time.sleep(2)
print("下載完成：", url)
if __name__ == '__main__':
start = time.time() # 開始時間
url_list = [
"a", "b", "c"
]
pool = Pool(len(url_list)) # 實例化一個線程池對象，并且設定線程池的上限數量為列表長度。不設置上限也可以。
pool.map(func, url_list)
end = time.time() # 結束時間
print(end - start)
下面就是見證奇跡的時候了，讓我們運行程序
我們發(fā)現(xiàn)這次我們的運行時間只用2～3秒。其實我們可以將線程池簡單的理解為將多個任務同時進行。
注意：
1.我使用的是 pycharm，如果使用的是 VS 或者說是 python 自帶的 idle，在運行時我們只能看到最后時間的輸出。
2.我們輸出結果可能并不是按 abc 的順序輸出的。
四、同步爬蟲爬取圖片
因為我們的重點是線程池的爬取效率提高，我們就簡單的爬取一頁的圖片。
import requests
import time
import os
from lxml import etree
def save_photo(url, title):
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 發(fā)送請求
photo = requests.get(url=url, headers=header).content
# 創(chuàng)建路徑，避免重復下載
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\同步爬蟲爬取4K美女圖片\\" + title + ".jpg"):
with open("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\同步爬蟲爬取4K美女圖片\\" + title + ".jpg", "wb") as fp:
print(title, "開始下載?。?！")
fp.write(photo)
print(title, "下載完成?。?！")
if __name__ == '__main__':
start = time.time()
# 創(chuàng)建文件夾
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\同步爬蟲爬取4K美女圖片"):
os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\同步爬蟲爬取4K美女圖片")
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 指定url
url = "https://pic.netbian.com/4kmeinv/"
# 發(fā)送請求，獲取源碼
page = requests.get(url = url, headers = header).text
# xpath 解析，獲取圖片的下載地址的列表
tree = etree.HTML(page)
url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href')
# 通過下載地址獲取高清圖片的地址和圖片名稱
for href in url_list:
new_url = "https://pic.netbian.com" + href
# 再一次發(fā)送請求
page = requests.get(url = new_url, headers = header).text
# 再一次 xpath 解析
new_tree = etree.HTML(page)
src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0]
# 編譯文字
title = title.encode("iso-8859-1").decode("gbk")
# 下載，保存
save_photo(src, title)
end = time.time()
print(end - start)
讓我們看看同步爬蟲需要多長時間
然后再讓我們看看使用線程池的異步爬蟲爬取這些圖片需要多久
五、使用線程池的異步爬蟲爬取4K美女圖片
import requests
import time
import os
from lxml import etree
from multiprocessing import Pool
def save_photo(src_title):
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 發(fā)送請求
url = src_title[0]
title = src_title[1]
photo = requests.get(url=url, headers=header).content
# 創(chuàng)建路徑，避免重復下載
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\異步爬蟲爬取4K美女圖片\\" + title + ".jpg"):
with open("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\異步爬蟲爬取4K美女圖片\\" + title + ".jpg", "wb") as fp:
print(title, "開始下載！?。?)
fp.write(photo)
print(title, "下載完成?。?！")
if __name__ == '__main__':
start = time.time()
# 創(chuàng)建文件夾
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\異步爬蟲爬取4K美女圖片"):
os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲\\線程池\\異步爬蟲爬取4K美女圖片")
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 指定url
url = "https://pic.netbian.com/4kmeinv/"
# 發(fā)送請求，獲取源碼
page = requests.get(url = url, headers = header).text
# xpath 解析，獲取圖片的下載地址的列表
tree = etree.HTML(page)
url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href')
# 存儲最后的網址和標題的列表
src_list = []
title_list = []
# 通過下載地址獲取高清圖片的地址和圖片名稱
for href in url_list:
new_url = "https://pic.netbian.com" + href
# 再一次發(fā)送請求
page = requests.get(url = new_url, headers = header).text
# 再一次 xpath 解析
new_tree = etree.HTML(page)
src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
src_list.append(src)
title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0]
# 編譯文字
title = title.encode("iso-8859-1").decode("gbk")
title_list.append(title)
# 下載，保存。使用線程池
pool = Pool()
src_title = zip(src_list, title_list)
pool.map(save_photo, list(src_title))
end = time.time()
print(end - start)
讓我們來看看運行的結果
只用了 17 秒，可不要小瞧這幾秒，如果數據太大，這些差距后來就會更大了。
注意
不過我們必須要明白 線程池 是有上限的，這就是說數據太大，線程池的效率也會降低，所以這就要用到協(xié)程模塊了。
到此這篇關于Python爬蟲之線程池的使用的文章就介紹到這了,更多相關Python線程池的使用內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了jupyter使用自動補全和切換默認瀏覽器的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
Python使用asyncio包實現(xiàn)異步編程方式
這篇文章主要介紹了Python使用asyncio包實現(xiàn)異步編程方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
這篇文章主要介紹了Python實現(xiàn)包含min函數的棧,可實現(xiàn)棧中元素的計算及進棧出棧等操作,需要的朋友可以參考下2016-04-04
下面小編就為大家分享一篇使用DataFrame刪除行和列的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
在數據分析、自動化和日常開發(fā)中,CSV和Excel文件是非常常見的數據存儲格式,ython提供了強大的工具來讀取、編輯和保存這兩種文件,滿足從基本讀取到復雜分析的需求,本文將深入介紹CSV和Excel文件的多種處理方法,幫助你更好地管理和分析數據,需要的朋友可以參考下2025-01-01
這篇文章主要介紹了Pycharm如何對python文件進行打包，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要介紹了如何對numpy?矩陣進行通道間求均值，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
這篇文章主要給大家介紹了關于Python中json常見四種用法舉例的相關資料,眾所周知JSON是一種輕量級的數據交換格式,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-08-08
這篇文章主要為大家介紹了Python的Scrapy框架解析 ，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
Blender Python編程創(chuàng)建發(fā)光材質示例詳解
這篇文章主要為大家介紹了Blender Python編程創(chuàng)建發(fā)光材質示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-08-08