在Google云中运行Dataflow作业时,如何配置Dataflow管道以在失败(或成功完成)时发送电子邮件?是否有一个简单的选项,可以在Pipeline程序中配置它,还是任何其他选项?
答案 0 :(得分:0)
我的实践中一个可能的选择是使用Apache Airflow(在GCP上为Cloud Composer)。
当DAG(工作)遇到故障时,Cloud Composor / Apache Airflow可以向您发送失败电子邮件。这样我就可以在Airflow中托管我的工作,并且它会在失败时发送电子邮件。
您可以检查[1],看是否满足您的需求