我知道在作业失败或完成时有api配置通知。
但是,如果我运行一个计算表中行数的配置单元查询,该怎么办?如果返回的结果为零,我想向相关方发送电子邮件。我怎么能这样做?
感谢。
答案 0 :(得分:1)
您可能需要查看Airflow和Qubole的操作员的气流。我们使用气流来协调使用Qubole运行的所有作业,在某些情况下使用非Qubole环境。我们使用DataDog API来报告每个任务的成功/失败(Qubole / Non Qubole)。在这种情况下,DataDog可以由Airflow的电子邮件运营商替换。 Airflow还有一些聊天操作员(如Slack)
答案 1 :(得分:0)
根据查询结果触发通知没有直接api。 但是有一种方法可以使用Qubole来做到这一点: 用以下步骤在qubole中创建工作流程: 1.您的查询(任何查询)将输出写入s3上的特定位置。 2. shell脚本 - 此脚本从s3读取结果,并根据任何条件使作业失败。例如,在您的情况下,如果结果返回0行,则失败作业。 - 使用“Scheduler”API安排此工作流程,以便在失败时通知。
您还可以使用“Sendmail”shell命令根据上面步骤2中的结果发送邮件。