从AWS mysql RDS获取数据到AWS Elasticsearch的最简单方法是什么?

时间:2017-04-28 20:09:13

标签: amazon-web-services elasticsearch logstash amazon-elasticsearch

我在AWS RDS中有数据,我想将其传输到AWS ES实例,最好每小时更新一次,或者类似。

在我的本地计算机上,使用本地mysql数据库和Elasticsearch数据库,可以很容易地使用Logstash进行设置。

是否有“原生”AWS方式来做同样的事情?或者我是否需要设置EC2服务器并自行安装Logstash?

2 个答案:

答案 0 :(得分:9)

您可以使用本地Logstash实现相同的功能,只需将您的jdbc输入指向您的RDS数据库,并将elasticsearch输出指向您的AWS ES实例。如果您需要定期运行,那么是的,您需要设置一个小实例来运行Logstash。

实现相同目标的更“本机”AWS解决方案包括使用Amazon KinesisAWS Lambda

这是一个good article,解释了如何将它们连接在一起,即:

  • 如何将RDS数据流式传输到Kinesis Stream
  • 配置Lambda函数以处理流
  • 将数据推送到您的AWS ES实例

答案 1 :(得分:0)

看看Amazon DMS。它通常用于数据库迁移,但是,它也支持连续数据复制。这样可以简化流程并具有成本效益。

  

您可以使用AWS Database Migration Service执行连续数据复制。连续数据复制具有多种用例,包括灾难恢复实例同步,地理数据库分发和开发/测试环境同步。您可以将DMS用于所有受支持的数据库引擎的同类和异构数据复制。源数据库或目标数据库可以位于AWS之外的您自己的前提中,在Amazon EC2实例上运行,也可以是Amazon RDS数据库。您可以将数据从单个数据库复制到一个或多个目标数据库,也可以将来自多个源数据库的数据合并并复制到一个或多个目标数据库。

https://aws.amazon.com/dms/