1 、簡介
我們在編寫程序尤其是與網絡請求相關的程序,如調用web接口、運行網絡爬蟲等任務時,經常會遇到一些偶然發生的請求失敗的狀況,這種時候如果我們僅僅簡單的捕捉錯誤然後跳過對應任務,肯定是不嚴謹的,尤其是在網絡爬蟲中,會存在損失有價值數據的風險。
這類情況下我們就很有必要為我們的程序邏輯添加一些「錯誤重試」的策略,費老師我在幾年前寫過文章介紹過Python
中的retry
庫,但它功能較為單一,只能應對基本的需求。
而今天我要給大家介紹的tenacity
庫,可能是目前Python
生態中最好用的錯誤重試庫,下面就讓我們一睹其主要功能吧~
作為一個第三方Python
庫,我們可以使用pip install tenacity
對其進行安裝,安裝完成後,下面我們來學習一下tenacity
的主要使用方法和特性:
tenacity
的錯誤重試核心功能由其retry
裝飾器來實現,默認不給retry
裝飾器傳參數時,它會在其所裝飾的函數運行過程拋出錯誤時不停地重試下去,譬如下面這個簡單的例子:
import random
from tenacity import retry
@retry
def demo_func1():
a = random.random()
print(a)
if a >= 0.1:
raise Exception
demo_func1()
可以看到,我們的函數體內每次生成0到1之間的隨機數,當這個隨機數不超過0.1時才會停止拋出錯誤,否則則會被tenacity
捕捉到每次的錯誤拋出行為並立即重試。
有些時候我們對某段函數邏輯錯誤重試的忍耐是有限度的,譬如當我們調用某個網絡接口時,如果連續n次都執行失敗,我們可能就會認為這個任務本身就存在缺陷,不是通過重試就能有朝一日正常的。
這種時候我們可以利用tenacity
中的stop_after_attempt
函數,作為retry()
中的stop
參數傳入,從而為我們“無盡”的錯誤重試過程添加一個終點,其中stop_after_attempt()
接受一個整數輸入作為「最大重試」的次數:
from tenacity import retry, stop_after_attempt
@retry(stop=stop_after_attempt(3))
def demo_func2():
print('函數執行')
raise Exception
demo_func2()
可以看到,我們的函數在限制了最大重試次數後,經過3次重試,在第4次繼續執行依然拋出錯誤後,正式地拋出了函數中對應的Exception
錯誤結束了重試過程。
我們除了像上一小節中那樣設置最大錯誤重試的次數之外,tenacity
還為我們提供了stop_after_delay()
函數來設置整個重試過程的最大耗時,超出這個時長也會結束重試過程:
import time
from tenacity import retry, stop_after_delay
# 設置重試最大超時時長為5秒
@retry(stop=stop_after_delay(5))
def demo_func3():
time.sleep(1)
print(f'已過去 {time.time() - start_time} 秒')
raise Exception
# 記錄開始時間
start_time = time.time()
demo_func3()
如果我們的任務同時需要添加最大重試次數以及最大超時時長限制,在tenacity
中僅需要用|
運算符組合不同的限制條件再傳入retry()
的stop
參數即可,譬如下面的例子,當我們的函數執行重試超過3秒或次數大於5次時均可以結束重試:
import time
import random
from tenacity import retry, stop_after_delay, stop_after_attempt
@retry(stop=(stop_after_delay(3) | stop_after_attempt(5)))
def demo_func4():
time.sleep(random.random())
print(f'已過去 {time.time() - start_time} 秒')
raise Exception
# 記錄開始時間
start_time = time.time()
demo_func4()
可以看到,在上面的演示中,先達到了“最大重試5次”的限制從而結束了重試過程。
有些情況下我們並不希望每一次重試拋出錯誤後,立即開始下一次的重試,譬如爬蟲任務中為了更好地偽裝我們的程序,tenacity
中提供了一系列非常實用的函數,配合retry()
的wait
參數,幫助我們妥善處理相鄰重試之間的時間間隔,其中較為實用的主要有以下兩種方式:
我們通過使用tenacity
中的wait_fixed()
可以為相鄰重試之間設置固定的等待間隔秒數,就像下面的簡單示例那樣:
import time
from tenacity import retry, wait_fixed, stop_after_attempt
# 設置重試等待間隔為1秒
@retry(wait=wait_fixed(1), stop=stop_after_attempt(3))
def demo_func5():
print(f'已過去 {time.time() - start_time} 秒')
raise Exception
# 記錄開始時間
start_time = time.time()
demo_func5()
除了設置固定的時間間隔外,tenacity
還可以通過wait_random()
幫助我們為相鄰重試設置均勻分布隨機數,只需要設置好均勻分布的范圍即可:
import time
from tenacity import retry, wait_random, stop_after_attempt
# 設置重試等待間隔為1到3之間的隨機數
@retry(wait=wait_random(min=1, max=3), stop=stop_after_attempt(5))
def demo_func6():
print(f'已過去 {time.time() - start_time} 秒')
raise Exception
# 記錄開始時間
start_time = time.time()
demo_func6()
可以觀察到,每一次重試後的等待時長都是隨機的~
tenacity
中retry()
的默認策略是當其所裝飾的函數執行過程“拋出任何錯誤”時即進行重試,但有些情況下我們需要的可能是對特定錯誤類型的捕捉/忽略,亦或是對異常計算結果的捕捉。
tenacity
中同樣內置了相關的實用功能:
使用tenacity
中的retry_if_exception_type()
和retry_if_not_exception_type()
,配合retry()
的retry
參數,我們可以對特定的錯誤類型進行捕捉或忽略:
from tenacity import retry, retry_if_exception_type, retry_if_not_exception_type
@retry(retry=retry_if_exception_type(FileExistsError))
def demo_func7():
raise TimeoutError
@retry(retry=retry_if_not_exception_type(FileNotFoundError))
def demo_func8():
raise FileNotFoundError
我們可以編寫額外的條件判斷函數,配合tenacity
中的retry_if_result()
,實現對函數的返回結果進行自定義條件判斷,返回True
時才會觸發重試操作:
import random
from tenacity import retry, retry_if_result
@retry(retry=retry_if_result(lambda x: x >= 0.1))
def demo_func9():
a = random.random()
print(a)
return a
# 記錄開始時間
demo_func9()
被tenacity
的retry()
裝飾的函數,我們可以打印其retry.statistics
屬性查看其歷經的錯誤重試統計記錄結果,譬如這裡我們對前面執行過的示例函數demo_func9()
的統計結果進行打印:
demo_func9.retry.statistics
除了上述的功能之外,tenacity
還具有很多特殊的特性,可以結合logging
模塊、異步函數、協程等其他Python
功能實現更高級的功能,感興趣的朋友可以前往https://github.com/jd/tenacity
了解更多。
【python學習】
學Python的伙伴,歡迎加入新的交流【君羊】:1020465983
一起探討編程知識,成為大神,群裡還有軟件安裝包,實戰案例、學習資料