如何使用AWS Glue将CSV文件加载到AWS Aurora数据库(关系数据库)中?

时间:2019-02-19 07:58:33

标签: amazon-web-services amazon-s3 etl aws-glue aws-aurora

我有一个csv文件,该文件将存在于S3存储桶中(每天都有一个新文件)。从这里开始,我尝试使用AWS Glue提取,转换和加载到AWS Aurora数据库中。 Aurora DB被设计为规范化的关系数据库,我必须使用映射在多个表之间的信息将csv加载到此关系数据库中。

我正在尝试的步骤: 1)修改python脚本以执行加载操作。

是否想知道是否还有其他方法可以完成此加载操作?

1 个答案:

答案 0 :(得分:0)

RDS Aurora提供了一个内置功能,您可以在其中使用“将数据从S3加载到表”从S3存储桶中的CSV文件加载数据。您需要添加适当的IAM角色,并在Aurora参数组中进行配置。

过去一年,我们一直在使用此功能,并且可以正常使用。您还可以执行相反的操作,例如将表中的数据卸载到S3存储桶中。您能否检查以下链接以获取更多信息和测试。希望我的问题正确无误?

https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Integrating.LoadFromS3.html

谢谢

Yuva