用自定义状态标记气流任务

Question

我试图创建一个只有一项任务的dag。我可以将任务标记为必填状态，例如“跳过”或“无”吗？

要求：通常，我将每隔一分钟查看s3存储桶，如果有可用文件，我将进行一些处理。不然我就走我想在UI中看到这种可见性。所以。我试图将任务状态标记为已跳过，以便做到这一点。

这是正确的做法吗？我们还有其他方法可以实现这一目标吗？

谢谢

Answer 1

如果您想将任务标记为已跳过，则可以引发AirflowSkipException。提升后，该任务的执行将停止，并且该任务将被标记为已跳过。

DummySkipOperator中的

This example Airflow dag演示了通过引发上述异常而被标记为跳过的运算符。