python retrying模塊的使用方法詳解
前言
我們?cè)趯懪老x的過程中,經(jīng)常遇到爬取失敗的情況,這個(gè)時(shí)候我們一般會(huì)通過try塊去進(jìn)行重試,但是每次都寫那么一堆try塊,真的是太麻煩,所以今天就來說一個(gè)比較pythonic的模塊,retrying.
安裝
retrying模塊的安裝很簡(jiǎn)單直接用匹配安裝即可。
pip install retrying
retring模塊通過裝飾器的形式來進(jìn)行重試操作的,首先我們看一個(gè)簡(jiǎn)單的例子
from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
上面的代碼干了哪些事呢,首先導(dǎo)入retring的retry模塊
然后裝飾一個(gè)run函數(shù),然后調(diào)用run,函數(shù)內(nèi)容很簡(jiǎn)單就是通過raise拋出一個(gè)異常,執(zhí)行該代碼我們發(fā)現(xiàn)。程序打印了五次開始重試,最后一次拋出異常,NameError。
到這里我們可以感受到重試了,就是這么簡(jiǎn)單的代碼,就完成了五次重試,同時(shí)這五次重試的間隔時(shí)間也是不同的。
如果想嘗試10次就把上面的stop_max_attempt_number=5,改成10即可,到這里就可以解釋retry裝飾器的參數(shù)了
stop_max_attempt_number:最大重試次數(shù),超過這個(gè)次數(shù)會(huì)停止重試,并報(bào)異常。
wait_random_min:隨機(jī)等待最小時(shí)間。
wait_random_max:隨機(jī)等待最大時(shí)間。
好了retry的使用就是這么簡(jiǎn)單,在需要重試的函數(shù)上面加個(gè)裝飾器就好了。
關(guān)鍵是裝飾器里的參數(shù)的使用,下面列舉了retrying的參數(shù)。
如果不寫參數(shù)將會(huì)一直重試.
stop_max_attempt_number:在停止之前嘗試的最大次數(shù),最后一次如果還是有異常則會(huì)拋出異常,停止運(yùn)行,默認(rèn)為5次
@retry(stop_max_attempt_number=5)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
強(qiáng)調(diào)總次數(shù)。
stop_max_delay:最大延遲時(shí)間,大概意思就是:如果調(diào)用的函數(shù)出現(xiàn)異常,那么就會(huì)重復(fù)調(diào)用這個(gè)函數(shù),最大調(diào)用時(shí)間,默認(rèn)為100毫秒
from retrying import retry
@retry(stop_max_delay=5000)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
會(huì)重試5秒鐘,強(qiáng)調(diào)總時(shí)間。
wait_fixed:兩次調(diào)用方法期間停留時(shí)長(zhǎng), 如果出現(xiàn)異常則會(huì)一直重復(fù)調(diào)用,默認(rèn) 1000毫秒
from retrying import retry
@retry(wait_fixed=2000)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
強(qiáng)調(diào)間隔時(shí)間。
wait_random_min:在兩次調(diào)用方法停留時(shí)長(zhǎng),停留最短時(shí)間,默認(rèn)為0
wait_random_max:在兩次調(diào)用方法停留時(shí)長(zhǎng),停留最長(zhǎng)時(shí)間,默認(rèn)為1000毫秒
wait_incrementing_increment:每調(diào)用一次則會(huì)增加的時(shí)長(zhǎng),默認(rèn) 100毫秒
wait_exponential_multiplier和wait_exponential_max:以指數(shù)的形式產(chǎn)生兩次retrying之間的停留時(shí)間,產(chǎn)生的值為2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已經(jīng)retry的次數(shù),如果產(chǎn)生的這個(gè)值超過了wait_exponential_max的大小,那么之后兩個(gè)retrying之間的停留值都為wait_exponential_max
retry_on_exception: 指定一個(gè)函數(shù),如果此函數(shù)返回指定異常,則會(huì)重試,如果不是指定的異常則會(huì)退出
from retrying import retry
def run2(exception):
return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
print("開始重試")
a = 1 / 0
if __name__ == '__main__':
run()
retry_on_result:指定一個(gè)函數(shù),如果指定的函數(shù)返回True,則重試,否則拋出異常退出
from retrying import retry
def run2(r):
return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
print("開始重試")
a = 1
return a
if __name__ == '__main__':
run()
wrap_exception:參數(shù)設(shè)置為True/False,如果指定的異常類型,包裹在RetryError中,會(huì)看到RetryError和程序拋的Exception error
stop_func: 每次拋出異常時(shí)都會(huì)執(zhí)行的函數(shù),如果和stop_max_delay、stop_max_attempt_number配合使用,則后兩者會(huì)失效
指定的stop_func會(huì)有兩個(gè)參數(shù):attempts, delay
wait_func:和stop_func用法差不多,不多描述
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)生成帶logo背景圖的二維碼
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)生成帶logo背景圖的二維碼(靜態(tài)和動(dòng)態(tài)圖),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2023-05-05
Python進(jìn)階之自定義對(duì)象實(shí)現(xiàn)切片功能
這篇文章主要介紹了Python進(jìn)階之自定義對(duì)象實(shí)現(xiàn)切片功能,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-01-01
Python基礎(chǔ)Lists和tuple實(shí)例詳解
這篇文章主要為大家介紹了Python基礎(chǔ)Lists和tuple實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-08-08
python爬取網(wǎng)頁(yè)數(shù)據(jù)到保存到csv
大家好,本篇文章主要講的是python爬取網(wǎng)頁(yè)數(shù)據(jù)到保存到csv,感興趣的同學(xué)趕快來看一看吧,對(duì)你有幫助的話記得收藏一下,方便下次瀏覽2022-01-01
python3安裝OCR識(shí)別庫(kù)tesserocr過程圖解
這篇文章主要介紹了python3安裝OCR識(shí)別庫(kù)tesserocr過程圖解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
Python中日志模塊logging的使用技巧和應(yīng)用詳解
在Python開發(fā)中,日志記錄是一個(gè)非常重要的環(huán)節(jié),它不僅有助于開發(fā)者追蹤程序的執(zhí)行流程,還能在出現(xiàn)問題時(shí)提供關(guān)鍵信息,幫助快速定位并解決問題,本文將結(jié)合實(shí)際案例,詳細(xì)介紹logging模塊的基礎(chǔ)用法和高級(jí)特性,需要的朋友可以參考下2024-08-08
Python for循環(huán)通過序列索引迭代過程解析
這篇文章主要介紹了Python for循環(huán)通過序列索引迭代過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02

