AWS EMR上的ClusterID与JobFlowID

时间:2015-07-06 10:42:31

标签: amazon-web-services boto emr

我对可用的API和两个标识符感到有点困惑。 我正在使用boto,但不要认为这是问题:我的问题是关于任何api(但不是cli)。

我使用RunJobFlow启动一个JobFlow,它返回一个JobFlowId。我们假设我不想保留这个数字,而是稍后找到JobFlow正在运行的内容,以便为它们添加步骤。

我想我应该可以使用DescribeJobFlows来查找所有jobflow_ids并从那里开始。但是在文档(http://docs.aws.amazon.com/ElasticMapReduce/latest/API/API_DescribeJobFlows.html)上,这个api调用被标记为已弃用,并指示我们使用ListClusters,它返回cluster_ids。

两者联系在一起的是什么?它是同一个标识符吗?如果不是,我怎样才能从群集ID中获取作业流ID?

我认为混淆还来自cli命令是" create-cluster"并返回一个cluster_id,add-steps也需要一个cluster_id ....

1 个答案:

答案 0 :(得分:10)

群集ID和作业流ID是相同的(j - ######)。集群ID是一个更合适的名称,因为它不会与Hadoop中看到的作业术语混淆。所以继续使用ListClusters(http://docs.aws.amazon.com/ElasticMapReduce/latest/API/API_ListClusters.html)。