如何在Luigi中创建非持久化任务？

Question

作为Luigi管道的一部分，我们希望通过POST请求通知等待数据计算的微服务。

到目前为止，我们正在使用RunAnywayTarget，但如果我们以比数据更改速度更快的速度启动Luigi，则会出现问题。所以我的问题是，

创建任务的最佳模式是什么，该任务在管道中执行某些操作但不创建任何数据，例如对REST服务执行POST请求，向Kafka发送消息等。 。？

我知道我可以创建一个没有输出的任务来执行run方法中的请求，但是如果由于某种原因终端服务在第一次运行期间失败了，那么如何重新运行此NotificationTask呢？依赖关系将在那里，它不会再次运行。

Answer 1

我会继续为该任务创建一个唯一的输出，即使输出未用于您的进一步处理。它只是一个标记，具有特定输入集的任务已成功完成。你可以做一个简单的FileTarget，PostgresTarget等等。