我们拥有现有的ETL管道,正在探索将管道迁移到NiFi的可能性。
我们的管道包含以python / scala编写的作业,并且进行了大量的提取/转换。
NiFi使用哪种处理器将python / scala代码放入其中?
非常感谢。
答案 0 :(得分:0)
将整个代码迁移到NiFi几乎是NiFi的重点。似乎您正在寻找的是工作流引擎,例如Apache Oozie或Apache Airflow。
如果您确实要迁移到NiFi,请尝试用NiFi处理器替换您的代码逻辑。它将看起来更好,并且易于维护。
我必须警告您,如果您对NiFi不太了解,这并不容易。您应该首先了解如何使用NiFi。完成后,您将不会后悔:)