气流应该与NiFi / StreamSet集成吗？

Question

我知道Airflow被称为工作流管理器，nifi数据流管理器，但这到底意味着什么？到目前为止，最好的解释是nifi关心数据，而气流关心任务，但是我还没有得到这个定义，而且我找不到其他任何好的解释/文章/视频来解释如何集成此系统。最好单独使用每个人。

我也在考虑是否最好使用StreamSets或NiFi，我认为Streamset在UI和监视数据中看起来更好，但是我听说情况有所不同，如果仅摄取数据，nifi会更好。找不到有关此问题的太多信息。

Answer 1

正如您所说，Airflow是工作流管理器。这意味着它仅告诉其他程序运行。它不处理数据，但告诉其他人运行。

另一方面，

NiFi和StreamSets处理数据，对其进行转换，接收并发送。这就是为什么他们是数据流管理员。