詳解多線程Django程序耗盡數(shù)據(jù)庫連接的問題
更新時間：2018年10月08日 08:50:55 作者：賴勇浩
這篇文章主要介紹了多線程Django程序耗盡數(shù)據(jù)庫連接的問題，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
Django的ORM是非常好用的，哪怕不是做Web項目也值得一用，所以網(wǎng)上也可以找到不少使用 Django 開發(fā)非Web項目的資料，因為除了ORM之個，命令行、配置文件等組件也非常好用。
最近用這種方式開發(fā)了一個非Web項目，而且是多線程的。有N個工作線程從DB中獲取jobs，并把結果寫回DB。簡單來說就是這樣。
項目運行一段時間后，發(fā)現(xiàn)數(shù)據(jù)庫連接耗盡了，幸好內存大，然后一直往上調，最后連接數(shù)都上九千多一萬了。耗盡連接數(shù)的時候，PostgreSQL 會出現(xiàn)類似這樣的錯誤：
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各種看文檔、代碼，找問題，其中艱難略下不表，最后大概是這么些個知識點：
- Django里的數(shù)據(jù)庫連接是放在線程的 local() 實例中的。
- 任何時候，需要一個數(shù)據(jù)庫連接的話，Django就會創(chuàng)建一條出來，或者用本線程已有的那條。
- 如果是Web項目，在請求結束的時候，Django會去關閉掉連接。是的，沒有連接池。
- 因為我們是非Web項目，所以不存在請求結束事件，所以一直沒的關閉連接。但本來這個應該也不會造成問題的，因為沒關閉就一直用唄，但不知道哪里出了問題，會出現(xiàn)連接泄漏，所以連接數(shù)據(jù)會一直增長。
最后的解決方案是找時機主動關閉數(shù)據(jù)庫連接，具體到我們項目，就是每次工作線程完成一個任務后，就把它相關的連接關掉，因為我們用的是 ThreadPoolExecutor ，所以Django很容易做到這一點。
重點代碼如下：
from django.db import connections
def on_done(future):
# 因為每一個線程都有一個 connections，所以這里可以調用 close_all()，把本線程名下的所有連接關閉。
connections.close_all()
def main():
# ...
with ThreadPoolExecutor() as executor:
while True:
future = executor.submit(do, get_a_job())
future.add_done_callback(on_done)
主動關閉后，數(shù)據(jù)庫連接數(shù)降到與工作線程數(shù)相近，并保持穩(wěn)定。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
PIL.Image.open和cv2.imread的比較與相互轉換的方法
這篇文章主要介紹了PIL.Image.open和cv2.imread的比較與相互轉換的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-06-06
這篇文章主要介紹了Django之路由層的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
這篇文章主要為大家詳細介紹了win10 64bit下python NLTK安裝教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-09-09
這篇文章主要介紹了python實現(xiàn)簡單的udp發(fā)送和接收方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
排序算法是在高考或中考中出現(xiàn)頻率最多的點，所以大家要掌握，今天小編給大家?guī)砹送ㄟ^Python一行代碼實現(xiàn)快速排序的方法，感興趣的朋友跟隨小編一起看看吧2019-04-04
這篇文章主要介紹了Django零基礎入門之靜態(tài)文件的引用，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09
圖像標注在計算機視覺中很重要，計算機視覺是一種技術，它允許計算機從數(shù)字圖像或視頻中獲得高水平的理解力，并以人類的方式觀察和解釋視覺信息，本文將重點討論在OpenCV的幫助下創(chuàng)建這些注釋，感興趣的朋友一起看看吧2022-06-06
keras中模型訓練class_weight,sample_weight區(qū)別說明
這篇文章主要介紹了keras中模型訓練class_weight,sample_weight區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
Python計算庫numpy進行方差/標準方差/樣本標準方差/協(xié)方差的計算
今天小編就為大家分享一篇關于Python計算庫numpy進行方差/標準方差/樣本標準方差/協(xié)方差的計算，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-12-12
這篇文章主要為大家詳細介紹了Python中的eventlet通信機制的相關知識，文中的示例代碼講解詳細，對我們深入了解Python有一定幫助，需要的可以參考一下2023-06-06