针对一堆S3文件运行python脚本

时间:2016-03-06 18:43:08

标签: python amazon-web-services amazon-s3

我有一个python脚本,我想在S3文件上运行并将输出发送到另一个S3存储桶。

现在我可以启动一个EC2实例并使用boto进行交互来完成此操作,这很好。但是,一旦流程完成,这似乎没有自动关闭EC2的方法(我将在大约100GB的数据上运行,所以我不想坐在那里并观看它。)

AWS的数据管道似乎很有吸引力,因为它们可以适当扩展并在完成后释放资源。哪个好。但我似乎无法找到在管道中运行python脚本的方法。 ShellCommandActivity似乎最接近,但我无法弄清楚如何设置它,以便我可以建立适当的虚拟环境(使用适当的包等)。试图找出实现这一目标的最佳方法。任何帮助将不胜感激

0 个答案:

没有答案