Google DataProc作业失败时，有什么方法可以通过电子邮件发送电子邮件吗？

Question

我被要求寻找Google Composer和DataProc的一种方法，以最少的点击次数将失败的作业的详细信息提供给Ops用户。我在“ DataProc作业”页面上找到了该屏幕：

我想知道是否有一种方法可以在工作失败的情况下通过电子邮件发送内容（包括指向完整日志文件的链接）？

Answer 1

您需要在email_on_failure = True中设置DataProcSparkOperator自变量。

Answer 2

捕获错误时，您可以编写自己的电子邮件功能。这是我的示例，当作业失败时我们发送的松弛消息。

# Home with articles displayed
@app.route('/home', methods=['GET','POST'])
def article():

    # Create Mongodb connection
    user = mongo.db.articles
    # Execute query to fetch data
    results = user.find() 

    # Iterate the data retrieved
    if results is not None:
        articles = results
        return render_template("index.html", articles=articles)
    else:
        msg = Markup("<h3>No Articles Posted.</h3>")
        return render_template("index.html", msg=msg)


# Single Article
@app.route('/home/<id>/', methods=['GET','POST'])
def post(id):
    # Create Mongodb Connection
    user = mongo.db.articles
    # execute query
    article = user.find_one({'_id': id})

    return render_template("post.html", article=article)