我正在使用AWS CLI运行一些map reduce步骤。如果我使用列表集群,我可以看到我的集群已启动:
aws emr list-clusters
{
"Clusters": [
{
"Status": {
"Timeline": {
"CreationDateTime": 1418219740.791
},
"State": "STARTING",
"StateChangeReason": {
"Message": "Configuring cluster software"
}
},
"Id": "j-141E0DHGZ1ZA8",
"Name": "Development Cluster"
}]
}
几分钟后,我可以看到我的步骤(不幸)失败了:
"Status": {
"Timeline": {
"ReadyDateTime": 1418219967.64,
"CreationDateTime": 1418219740.791
},
"State": "TERMINATING",
"StateChangeReason": {
"Message": "Shut down as step failed",
"Code": "STEP_FAILURE"
}
},
然而,群集(在失败时启动时)不会出现在亚马逊网络控制台上。据我所知,我只使用一个IAM用户(CLI控制台有一个单独的密钥)。群集无法显示在Web控制台上的原因是什么?
答案 0 :(得分:12)
要检查两件事:
您正在寻找正确的地区吗?也许您的CLI在另一个区域启动集群而不是您在Web控制台中查看的区域。
如果您在Web控制台和CLI之间使用不同的用户,是否在CLI中使用---visible-to-all-users
选项?有关详细信息,请参阅http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html