aws将数据从s3加载到rds

Question

我对AWS上的技术架构有疑问。

情况： 有几个销售单位（每个销售单位都有不同位置的数据库相互连接）。业务要求是销售单位将汇总数据放在csv文件中，以后将加载到报告数据库。

我已经知道我需要做复杂的ETL过程（我在SSIS上工作），安排作业，编写程序并自动执行它们。基本上是MSSQL Server所做的一切+数据工具。

问题： 是否可以安全地将数据加载到S3，然后通过ETL流程专门在AWS上加载到RDS（mssql）？这是个好主意吗？ AWS GLUE / DataPipeline可以完成这项工作吗？

如果是这样，请为服务命名，如果可能的话，如何执行这些任务。

感谢您的意见。

Answer 1

绝对

在高级别，您需要的数据管道中 -

1. S3数据节点 - 您的输入数据
2. 活动 - 您想要进行的任何转型
3. 资源 - EMR或EC2，具体取决于所需的资源/软件。
4. RDS数据节点 - 进程的输出，您的RDS数据库。

除上述内容外，您还可以设置重试，失败警报，成功等。

您可以在此处参考AWS文档 - https://aws.amazon.com/documentation/data-pipeline/ https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/welcome.html