是否可以使用一个AWS Glue作业将数据写入不同的数据库?

时间:2020-03-02 23:11:42

标签: aws-glue

我计划使用AWS Glue来完成从AWS s3存储桶提取数据并将其加载到RDS数据库的简单工作。计划是使用AWS向导以最少的修改来创建python脚本。

问题是我需要将几乎相同的数据加载到许多具有相同架构,相同表等的分离的DB中。

问题是,是否可以使用一个粘合脚本(例如,使用向导中“必需的连接”中的多个连接)来完成此操作,或者我是否需要为每个数据库单独进行粘合工作?

1 个答案:

答案 0 :(得分:0)

似乎只有在某些条件下才有可能(我在这里https://forums.aws.amazon.com/thread.jspa?threadID=287775找到它):“当您使用JDBC连接作为数据源时,将在Connection中定义的子网中启动ENI。 Glue资源使用此ENI来传输所有到您的数据源的流量。当您向一个作业添加多个连接时,它将始终在添加到该作业的第一个连接所指定的子网中启动ENI。”当我仅使用2个具有不同子网的不同连接进行尝试时,只有一个可行,而另一个因“连接尝试超时”错误而失败-如提供的链接所述。