多線程Django程序耗盡數據庫連接的問題

Django的ORM是非常好用的，哪怕不是做Web項目也值得一用，所以網上也可以找到不少使用 Django 開發非Web項目的資料，因為除了ORM之個，命令行、配置文件等組件也非常好用。

最近用這種方式開發了一個非Web項目，而且是多線程的。有N個工作線程從DB中獲取jobs，並把結果寫回DB。簡單來說就是這樣。

項目運行一段時間後，發現數據庫連接耗盡了，幸好內存大，然後一直往上調，最後連接數都上九千多一萬了。耗盡連接數的時候，PostgreSQL 會出現類似這樣的錯誤：

FATAL: remaining connection slots are reserved for non-replication superuser connections

然後就各種看文檔、代碼，找問題，其中艱難略下不表，最後大概是這麼些個知識點：

1. Django裡的數據庫連接是放在線程的 local() 實例中的。
2. 任何時候，需要一個數據庫連接的話，Django就會創建一條出來，或者用本線程已有的那條。
3. 如果是Web項目，在請求結束的時候，Django會去關閉掉連接。是的，沒有連接池。
4. 因為我們是非Web項目，所以不存在請求結束事件，所以一直沒的關閉連接。但本來這個應該也不會造成問題的，因為沒關閉就一直用呗，但不知道哪裡出了問題，會出現連接洩漏，所以連接數據會一直增長。

最後的解決方案是找時機主動關閉數據庫連接，具體到我們項目，就是每次工作線程完成一個任務後，就把它相關的連接關掉，因為我們用的是ThreadPoolExecutor，所以Django很容易做到這一點。

重點代碼如下：

from django.db import connections
def on_done(future):
# 因為每一個線程都有一個 connections，所以這裡可以調用 close_all()，把本線程名下的所有連接關閉。
connections.close_all()
def main():
# ...
with ThreadPoolExecutor() as executor:
while True:
future = executor.submit(do, get_a_job())
future.add_done_callback(on_done)

主動關閉後，數據庫連接數降到與工作線程數相近，並保持穩定。