使用boto3从S3运行Python脚本后创建EMR集群并终止

时间:2016-04-11 18:17:52

标签: python amazon-web-services boto emr boto3

是否可以使用boto3创建一个emr集群并在s3中读取python脚本然后终止。我知道这可以通过创建集群然后在引导期间手动将脚本从s3复制到主服务器来完成,但是想知道是否有办法以不同方式执行它而不会涉及复制文件。换句话说,创建一个集群并添加一个直接从s3读取的步骤。

1 个答案:

答案 0 :(得分:0)

使用boto3,您可以使用

以编程方式将步骤添加到EMR群集
  

add_job_flow_steps

http://boto3.readthedocs.org/en/latest/reference/services/emr.html#EMR.Client.add_job_flow_steps