django中使用Celery 布式任務(wù)隊列過程詳解
本文記錄django中如何使用celery完成異步任務(wù)。
Celery 是一個簡單、靈活且可靠的,處理大量消息的分布式系統(tǒng),并且提供維護這樣一個系統(tǒng)的必需工具。
它是一個專注于實時處理的任務(wù)隊列,同時也支持任務(wù)調(diào)度。
示例一:用戶發(fā)起request,并等待response返回。在本些views中,可能需要執(zhí)行一段耗時的程序,那么用戶就會等待很長時間,造成不好的用戶體驗
示例二:網(wǎng)站每小時需要同步一次天氣預(yù)報信息,但是http是請求觸發(fā)的,難道要一小時請求一次嗎?
使用celery后,情況就不一樣了
示例一的解決:將耗時的程序放到celery中執(zhí)行
示例二的解決:使用celery定時執(zhí)行
名詞
任務(wù)task:就是一個Python函數(shù)
隊列queue:將需要執(zhí)行的任務(wù)加入到隊列中
工人worker:在一個新進程中,負責執(zhí)行隊列中的任務(wù)
代理人broker:負責調(diào)度,在布置環(huán)境中使用redis
本示例在ubuntu系統(tǒng)中,使用django1.8.2,并且要安裝redis
1,首先需要安裝擴展包。
pip install celery==3.1.25 pip install celery-with-redis==3.0 pip install django-celery==3.1.17
2,配置項目setting.py
加入以下代碼:
import djcelery
djcelery.setup_loader()
BROKER_URL = 'redis://127.0.0.1:6379/0'
CELERY_IMPORTS = ('bookstory.task')
CELERY_IMPORTS值是異步任務(wù)函數(shù)所在的位置,比如這個是bookstory應(yīng)用里面的task.py文件里,如圖:

并且將'djcelery'加入到setting.py的INSTALLED_APPS里面。
3,編寫需要異步執(zhí)行(或者耗時)的功能函數(shù)
編寫task.py文件,假設(shè)我就這樣模擬耗時操作
# coding=utf-8
import time
from celery import task
@task
def showa():
# 任務(wù)函數(shù)
print('hello....')
time.sleep(5)
print('world....')
4,遷移,生成celery需要的數(shù)據(jù)表
python manage.py migrate
5,啟動worker
python manage.py celery worker --loglevel=info
6,使用
新建一個視圖函數(shù),并且分配一個url
from task import *
.........
# celery異步
def showTest(request):
showa.delay()
return HttpResponse('哈哈哈')
調(diào)用語法就是:
function.delay(parameters)
function就是task里寫的函數(shù),parameters就是這個函數(shù)要傳遞的參數(shù),我的showa沒有傳參數(shù),所以就直接showa.delay()就可以調(diào)用了。
運行結(jié)果就是在瀏覽器中并沒有等待5秒,而是直接輸出'哈哈'了。并沒有因為耗時的操作二延遲。在啟動worker的窗口里面可以看到hello,world間隔5秒分別輸出了出來:

按照步驟來,其實并不難,具體異步(耗時)操作根據(jù)具體業(yè)務(wù)在task里面具體編寫就ok了。
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python遍歷指定文件夾下的所有文件名的方法小結(jié)
當需要遍歷指定文件夾下的所有文件名時,Python提供了多種方法來實現(xiàn)這個任務(wù),本文將介紹如何使用Python來完成這一任務(wù),有需要的小伙伴可以參考下2024-01-01
使用 Python 和 LabelMe 實現(xiàn)圖片驗證碼的自動標注功能
文章介紹了如何使用Python和LabelMe自動標注圖片驗證碼,主要步驟包括圖像預(yù)處理、OCR識別和生成標注文件,通過結(jié)合PaddleOCR,可以快速實現(xiàn)驗證碼字符的自動標注,大幅提升工作效率,感興趣的朋友一起看看吧2024-12-12
python監(jiān)控linux內(nèi)存并寫入mongodb(推薦)
這篇文章主要介紹了python監(jiān)控linux內(nèi)存并寫入mongodb的相關(guān)資料,需要的朋友可以參考下2017-09-09
分享PyCharm最新激活碼(真永久激活方法)不用每月找安裝參數(shù)或最新激活碼了
這篇文章主要介紹了分享PyCharm最新激活碼(真永久激活方法)不用每月找安裝參數(shù)或最新激活碼了一勞永逸,需要的朋友可以參考下2020-12-12

