对所有AWS Data Pipeline活动使用相同的EC2实例

Question

我正在使用AWS Data Pipeline将一些CSV数据从S3导入Redshift。我还添加了一个ShellCommandActivity来在复制活动完成后删除所有S3文件。我在整个过程中附上了一张照片。

一切正常但每个活动都会启动它自己的EC2实例。在复制命令完成后，ShellCommandActivity是否有可能重用与RedshiftCopyActivity相同的EC2实例？

谢谢！

Answer 1

除非您可以在shell或CLI中执行所有活动，否则无法在同一实例中执行所有操作。

我可以提出的一个建议是继续研究新技术。 AWS Data Pipeline已过时（4年）。您应该使用AWS Lambda，这将花费您所支付的一小部分，并且您可以在文件上传到S3后立即将文件加载到Redshift中。清理是自动的，Lambda比AWS Data Pipeline强大得多。教程A Zero-Administration Amazon Redshift Database Loader是您想要的。是的，有一些学习曲线，但正如标题所示，它是零管理负载。

Answer 2

为了让ShellCommandActivity在同一个EC2实例上运行，我使用Architect编辑了我的ShellCommandActivity，而对于Runns On选项，我选择了Ec2Instance。 ShellCommandActivity自动映射到与RedshiftCopyActivity相同的EC2Instance。现在整个过程看起来像这样：

谢谢！