从MYSQL迁移到Elasticsearch的最佳方法是什么?

时间:2019-03-29 06:58:47

标签: mysql elasticsearch migration logstash

我打算将MYSQL日志(数百万条记录)迁移到ELK,我想知道什么是最好的方法。

我应该为所有记录(sql数据库)创建一个索引还是为每个数据库创建不同的索引?

或者,如果有更好的方法,可以请您提出建议吗?

顺便说一句,我是ELK的新手,论坛对您的帮助不大。.对不起。

我已经尝试迁移具有至少1000条记录的单个数据库,并且该数据库可以正常工作。

1 个答案:

答案 0 :(得分:0)

一种迁移数据(也支持基于查询的结果)的方法是在Logstash中使用JDBC输入插件。 您选择迁移到的索引体系结构取决于您正在查看的用例类型/计划进行的分析类型。相对于MySQL,直接迁移可能无济于事,因为Elasticsearch被索引并且是非关系的。您可能需要先将数据归一化,然后再推送到Elasticsearch中。