将现有ETL迁移到NiFi:我应该选择哪种处理器?

时间:2019-01-04 20:12:47

标签: apache-nifi

我们拥有现有的ETL管道,正在探索将管道迁移到NiFi的可能性。

我们的管道包含以python / scala编写的作业,并且进行了大量的提取/转换。

NiFi使用哪种处理器将python / scala代码放入其中?

非常感谢。

1 个答案:

答案 0 :(得分:0)

将整个代码迁移到NiFi几乎是NiFi的重点。似乎您正在寻找的是工作流引擎,例如Apache Oozie或Apache Airflow。

如果您确实要迁移到NiFi,请尝试用NiFi处理器替换您的代码逻辑。它将看起来更好,并且易于维护。

我必须警告您,如果您对NiFi不太了解,这并不容易。您应该首先了解如何使用NiFi。完成后,您将不会后悔:)