从EC2实例读取S3内的文件

Question

我想使用AWS Data Pipeline启动EC2实例，然后运行存储在S3中的python脚本。

有可能吗？我想使用python脚本创建一个ETL步骤。

这是最好的方式吗？

Answer 1

是的，使用Shell Command Activity可以并且相对直接。

我相信您目前提供的详细信息，这似乎是最好的方式 - 因为DataPipeline为您提供EC2实例并在之后将其关闭。

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

还有一个教程可以让您适应数据管道的ShellCommndActivity。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-gettingstartedshell.html

Answer 2

是的，您可以在s3

中直接上传和备份您的数据

http://awssolution.blogspot.in/2015/10/how-to-backup-share-and-organize-data.html