Question

在我使用Celery的Django项目中（在许多其他事情中），我有一个Celery任务，它会在后台将文件上传到数据库。我使用轮询来跟踪上传进度并显示上传进度条。以下是一些详细介绍上传过程的片段：

views.py：

from .tasks import upload_task
...

upload_task.delay(datapoints, user, description) # datapoints is a list of dictionaries, user and description are simple strings

tasks.py：

from taskman.celery import app, DBTask # taskman is the name of the Django app that has celery.py
from celery import task, current_task

@task(base=DBTask)
def upload_task(datapoints, user, description):
    from utils.db.databaseinserter import insertIntoDatabase
    for count in insertIntoDatabase(datapoints, user, description):
        percent_completion = int(100 * (float(count) / float(len(datapoints))))
        current_task.update_state(state='PROGRESS', meta={'percent':percent_completion})

databaseinserter.py：

def insertIntoDatabase(datapoints, user, description):
    # iterate through the datapoints and upload them one by one
    # at the end of an iteration, yield the number of datapoints completed so far

上传代码一切正常，进度条也能正常运行。但是，我不确定如何发送一条Django消息告诉用户上传完成（或者，如果发生错误，发送Django消息通知用户该错误）。上传开始时，我在views.py中执行此操作：

from django.contrib import messages
...

messages.info(request, "Upload is in progress")

当上传成功时我想做类似的事情：

messages.info(request, "Upload successful!")

我不能在views.py中这样做，因为Celery任务很火，而且忘了。有没有办法在celery.py中执行此操作？在celery.py的DBTask课程中，我定义了on_success和on_failure，那么我能从那里发送Django消息吗？

此外，虽然我的投票在技术上有效，但目前还不理想。当前轮询的工作方式是无论是否正在进行，它都会无休止地检查任务。它迅速泛滥服务器控制台日志，我可以想象会对整体性能产生负面影响。我在编写轮询代码时非常陌生，所以我并不完全确定最佳实践，以及如何只在需要时进行轮询。处理常量轮询和服务器日志堵塞的最佳方法是什么？以下是我的民意调查代码。

views.py：

def poll_state(request):
    data = 'Failure'
    if request.is_ajax():
        if 'task_id' in request.POST.keys() and request.POST['task_id']:
            task_id = request.POST['task_id']
            task = AsyncResult(task_id)
            data = task.result or task.state
            if data == 'SUCCESS' or data == 'FAILURE': # not sure what to do here; what I want is to exit the function early if the current task is already completed
                return HttpResponse({}, content_type='application/json')
        else:
            data ='No task_id in the request'
            logger.info('No task_id in the request')
    else:
        data = 'Not an ajax request'
        logger.info('Not an ajax request')

    json_data = json.dumps(data)
    return HttpResponse(json_data, content_type='application/json')

以及相应的jQuery代码：

{% if task_id %}
    jQuery(document).ready(function() {
        var PollState = function(task_id) {
            jQuery.ajax({
                url: "poll_state",
                type: "POST",
                data: "task_id=" + task_id,
            }).done(function(task) {
                if (task.percent) {
                    jQuery('.bar').css({'width': task.percent + '%'});
                    jQuery('.bar').html(task.percent + '%');
                }
                else {
                    jQuery('.status').html(task);
                };
                PollState(task_id);
            });
        }
        PollState('{{ task_id }}');
    })
{% endif %}

（最后两个片段主要来自之前关于Django + Celery进度条的StackOverflow问题。）

Answer 1

减少日志记录和开销的最简单方法是在下一次PollState呼叫时设置超时。你的函数现在的写法，它会立即再次轮询。简单的事情：

setTimeout(function () { PollState(task_id); }, 5000);

这将大大减少您的日志记录问题和开销。

关于您的Django消息传递问题，您需要通过某种处理来完成这些已完成的任务。一种方法是使用Notification模型或类似模型，然后您可以添加一个中间件来获取未读通知并将它们注入到消息框架中。

Answer 2

感谢Josh K提供有关使用setTimeout的提示。不幸的是，我永远无法弄清楚中间件的方法，所以我采用更简单的方法在poll_state中发送HttpResponse，如下所示：

if data == "SUCCESS":
    return HttpResponse(json.dumps({"message":"Upload successful!", "state":"SUCCESS"}, content_type='application/json'))
elif data == "FAILURE":
    return HttpResponse(json.dumps({"message":"Error in upload", "state":"FAILURE"}, content_type='application/json'))

目的是根据收到的JSON简单地呈现成功或错误消息。现在有新的问题，但这些问题是针对不同的问题。

Celery + Django - 使用Django消息框架轮询状态和报告成功或失败的任务

2 个答案: