Nifi用于数据库迁移

Question

如果nifi一次又一次地发送相同的数据，为什么nifi会是一个很好的数据库迁移用例？（我试图从数据库中提取数据并将其放入JSON文件中，我看到了多个条目相同的元组。）那不是浪费计算资源吗？

如果我只想迁移一次数据库，有时只更新已更改的列，那么nifi仍然是一个好工具吗？

Answer 1

这全部取决于您要从哪个数据库迁移到哪个环境。您要迁移到Hadoop的大型企业Oracle DB吗？查看Sqoop https://sqoop.apache.org/。我建议Sqoop将大型数据库一次性导入Hadoop。

您还可以使用NiFi来执行导入，还可以使用ExecuteSQL，QueryDatabaseTable，GenerateTableFetch等处理器。它们都与JDBC连接器一起使用，因此取决于您的数据库是否支持此连接，您也可以选择这样做。

如果要进行增量更改，可以使用QueryDatabaseTable处理器并使用其Maximum-Value Column属性，Matt Burgess的文章解释了如何将其放在https://community.hortonworks.com/articles/51902/incremental-fetch-in-nifi-with-querydatabasetable.html。