Question

我在我的django应用程序中使用芹菜，我已经设置了芹菜花来监控芹菜的任务。我有设置任务，当用户注册/提交/ FP等事件时，会向用户发送电子邮件。现在Flower给了我一个关于任务及其状态的详细信息。现在，对于每个失败的任务，我都希望发送一封电子邮件发送到我的帐户，这样我就不会每天都检查花是否有失败的任务。 我在settings.py文件中进行了以下配置

CELERY_SEND_TASK_ERROR_EMAILS = True

和ADMINS。

EMAIL_USE_TLS = True
EMAIL_HOST_USER = 'noreply@xyz.com'
EMAIL_HOST_PASSWORD = 'xyz123@'
DEFAULT_FROM_EMAIL = EMAIL_HOST_USER
SERVER_EMAIL = EMAIL_HOST_USER
EMAIL_HOST = 'xyz.abc.com'
EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'

这些是“发件人”电子邮件地址的设置。几天前，我的一名团队成员意外更改了上述email_host的密码，忘了更新设置文件。 由于SMTP身份验证错误，任务失败的时间太早了。

有没有办法解决这个问题，即使发生SMTP身份验证错误，我也会立即收到来自芹菜的电子邮件？我对此不太确定。

是否还有其他工具可以监控我的任务，而且每个失败的任务都会向我发送邮件。

Answer 1

我发现创建了一个用于维护数据库中任务的表。因此，我只是创建了一个脚本，该脚本将每小时检查表中过去一小时记录的失败任务，如果发现它将发送任何电子邮件。

<强> script.py

#!venv/bin/python2

import os
from django.conf import settings

if __name__ == '__main__' and __package__ is None:
    os.sys.path.append(
        os.path.dirname(
            os.path.dirname(
                os.path.abspath(__file__))))

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "rest_apis.settings")

import django

django.setup()
from django.core.mail import EmailMessage
from djcelery.models import TaskMeta
from datetime import datetime, timedelta, time


USERS_TO_NOTIFY = ['ops@yopmail.com']
TIME_THRESHOLD_INTERVAL = 60

def send_email(email_subject_line, email_body):
    email = EmailMessage(email_subject_line,
                         email_body,
                         settings.EMAIL_HOST_USER,
                         USERS_TO_NOTIFY
                         )
    email.send()


def main():
    current_time = datetime.now()   # Get Current TimeStamp
    time_threshold = current_time - timedelta(minutes=TIME_THRESHOLD_INTERVAL) # Get 60 minutes past current time stamp
    celery_taskmeta_objects = TaskMeta.objects.filter(status="FAILURE", date_done__gte=time_threshold)

    email_body = "Below are the tasks which failed : "
    if celery_taskmeta_objects.exists():
        for celery_taskmeta in celery_taskmeta_objects:
            print celery_taskmeta.task_id
            email_body += "\n\ntask_id : %s" % celery_taskmeta.task_id
            email_body += "\nstatus : %s" % celery_taskmeta.status
            email_body += "\ndate : %s" % celery_taskmeta.date_done
            email_body += "\ntraceback :"
            email_body += "\n%s\n\n" % celery_taskmeta.traceback
        email_subject_line = '[URGENT] Celery task failure in last %s minutes' % (TIME_THRESHOLD_INTERVAL)
        send_email(email_subject_line, email_body)


main()

现在，在一封电子邮件中，我也获得了完整的堆栈跟踪以及任务的ID。现在我的要求是每小时检查一次，所以我只是将脚本放在crontab中。现在，您可以根据基本需求更改时间阈值并相应地进行操作。

Answer 2

您可以配置Datadog https://www.datadoghq.com/

它可以监控和跟踪您的动态基础架构。您将收到生成服务器上发生的每个错误的电子邮件。

Celery为每个失败的任务发送邮件

2 个答案: