Cloud Dataflow在失败时触发电子邮件

时间:2018-12-19 03:47:23

标签: google-cloud-dataflow apache-beam dataflow

在Google云中运行Dataflow作业时,如何配置Dataflow管道以在失败(或成功完成)时发送电子邮件?是否有一个简单的选项,可以在Pipeline程序中配置它,还是任何其他选项?

1 个答案:

答案 0 :(得分:0)

我的实践中一个可能的选择是使用Apache Airflow(在GCP上为Cloud Composer)。

当DAG(工作)遇到故障时,Cloud Composor / Apache Airflow可以向您发送失败电子邮件。这样我就可以在Airflow中托管我的工作,并且它会在失败时发送电子邮件。

您可以检查[1],看是否满足您的需求

  1. https://cloud.google.com/composer/docs/quickstart