将数据从S3中的json文件传输到RDS

时间:2014-02-16 13:55:39

标签: amazon-web-services amazon-s3 amazon-rds

我在S3中有很多json文件。我需要获取每个文件,提取相关信息,并将数据插入到我在Amazon RDS中的mySQL数据库中的各个表中。做这个的最好方式是什么?文件不断到来所以我需要这个服务一直运行 - 获取文件,解析它们并将数据插入数据库。 谢谢!

1 个答案:

答案 0 :(得分:0)

听起来您可能需要一个EC2实例,该实例对S3上的文件运行24x7轮询并执行所需的工作。

该实例应该有多大,甚至可能部署多少实例取决于您获得的文件量以及必须多快处理它们。

如果是我,我会在C#中编写处理作业作为控制台应用程序,启动一个或多个ec2实例,然后使用任务调度程序安排作业。

如果windows / .net不是您选择的平台,您可以使用您选择的语言和日程安排工具在Linux机器上执行等效操作。

如果这将持续很长时间(即数月或更长时间),请考虑购买预留实例,您将在按需上节省相当多的钱。

http://aws.amazon.com/ec2/