将数据从MySQL实时迁移到elasticsearch？

Question

我在MySQL中以不同数据库的形式存在大量数据，以及它们各自的表。他们都彼此相关。但是当我必须对数据进行分析时，我必须创建不同的脚本，它们将数据合并，合并并显示结果，但这需要花费大量的时间和精力。我喜欢elasticsearch的速度和kibana数据的可视化，因此我决定将我的整个MySQL数据实时移动到elasticsearch，同时将数据保存在MySQL中。但我想要一个可扩展的策略，以及将该数据迁移到elasticsearch的流程。

建议最好的工具或方法来完成这项工作。

谢谢。

Answer 1

1. 在Elasticsearch 2.x之前，您可以编写自己的Elasticsearch _river插件，可以将其安装到elasticsearch中。您可以通过_river控制您用脚本输入的所述数据的频率（注意：这不是真正推荐的）。

2. 您也可以使用自己喜欢的排队留言管理器工具（例如ActiveMQ）将数据推送到elasticsearch

3. 如果您想要完全控制以满足您对数据实时迁移的需求，您还可以编写一个使用elasticsearch REST端点的简单应用程序，只需通过REST写入即可。你甚至可以批量发布

4. 使用任何弹性搜索工具，例如beat，logstash，可以将几乎任何类型的数据传输到elasticsearch中

有关将数据重置为平面文件的其他选择，或者如果您想维护关系，请参阅此帖子here