實際案例:
我們之前實現了一個多線程web視頻監控服務器,我們需要對請求連接數做限制,以防止惡意用戶發起大量連接而導致服務器創建大量線程,最終因資源耗盡而癱瘓。
可以使用線程池,替代原來的每次請求創建線程。
解決方案:
python3中有線程池實現,使用標准庫中concurrent.futures下的ThreadPoolExecutor,對象的submit和map方法可以用來啟動線程池中線程執行任務。
線程池介紹:
線程池就是提前創建好某一固定數量的線程放到池子裡面,需要使用的時候去這個池子中取一個線程出來讓它執行任務,執行完以後再歸還給線程池以便後面的任務繼續使用線程。
多線程池的簡單使用
from concurrent.futures import ThreadPoolExecutor
# 創建Executor對象,指定線程池中線程數
executor = ThreadPoolExecutor(3)
# 使用線程池中線程執行任務
# 定義任務函數a的b次方
def f(a, b):
print('f', a, b)
return a ** b
# 調用線程池中線程去執行函數
future = executor.submit(f, 2, 3)
# 使用線程池中一個線程運行這個函數,這個函數運行完以後
# 這個線程又會歸還到線程池中去
# 使用result得到函數的運行結果
print(future.result())
# 如果函數的運行事件比較長,在調用result的時候他還沒有執行完,
# 這個result就會被阻塞到這裡,直到這個函數運行完
# 和python內置的map方法類似,只不過他在多個線程上同時調用f
# 在第1個線程計算2的4次方,第2個線程計算3的5次方,第3個線程計算5的6次方
executor.map(f, [2, 3, 5], [4, 5, 6])
'''
假設當前線程池中所有線程都在忙碌,一直在運行函數並且沒有返回,
我們再提交一個任務的時候,就會出現pending,
等待線程池中有一個空閒線程來運行它。
'''
import time
def f2(a, b):
print('f2', a, b)
time.sleep(10)
# 等待10秒再返回
return a ** b
# 運行以下語句可以到,可以看到首先打印的'f2 2 4'、'f2 3 5'、'f2 5 6'
# 過了一會才把'f2 6 7'和'f2 7 8'打印出來,直到前面退出了他才得到運行權利
executor.map(f2, [2, 3, 5, 6, 7], [4, 5, 6, 7, 8])