从Oracle导入数据（初始加载）到Elastic Search的最佳方法

Question

我正在开发一个项目，我在Oracle中有两个大表（父级和子级）。一个是6500万和另外8000万的记录。总的来说，这些表中需要来自10列的数据，并将其作为一个文档保存到弹性搜索中。两个表的负载也可以单独完成。有两个可比较的选项可以将数据（一次性加载）从这些表格移动到弹性搜索中，而在两个中你推荐哪一个？要求是它应该快速而简单，以便它不仅可以用于一次性数据加载，而且还可以用于发生故障并且需要从头开始再次创建弹性搜索索引。

Answer 1

如前所述，一个选项可能是logstash：logstash的优点是简单，但监视起来可能很复杂，如果你必须在摄取过程中转换某些字段，则可能很难配置。

一个替代方案可以是nifi：它提供了jdbc和elasticsearch插件，您可以直接使用Web界面监控，启动和停止提取。使用nifi可以构建更复杂和更健壮的管道：处理异常，转换数据类型和执行数据丰富。