AWS Data Pipeline将CSV从S3复制到RDS MySQL

Question

我的S3存储桶中有一个目录，其中包含许多.CSV文件，这些文件的格式相同（First，Last，Location，Date）。

我一直在尝试使用Data Pipeline用这些CSV文件的内容填充RDS MySQL数据库表。幸运的是，亚马逊已经为此操作提供了一个模板。

“将S3数据加载到RDS MySQL表” http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copys3tords.html

我填写了它要求的所有适当信息。

当我激活管道时，它会创建CopyActivity和ShellCommandActivity。复制活动复制数据，如果表认为它已经存在，则Shell命令活动会创建表。 Shell命令活动成功连接到我的RDS。

但是，我的问题是ShellCommandActivity切换到“FINISHED”状态而没有实际创建表，然后CopyActivity卡在“WAITING_ON_DEPENDENCIES”。整个过程大约需要20分钟。

我的所有角色都可以完全访问所有服务。

如果有人有任何见解，请发表评论。我已经被困在这个问题上近两周了。

Answer 1

我尝试使用SQLActivity选择要创建的表中的所有数据，这个新的SQLActivity将是CopyActivity的依赖项。