Question

我尝试使用CLI和GUI创建AWS Data Pipeline。无论哪种方式，当我指定多个从属节点时，都无法正确创建它。这是一个示例定义：

{
    "name": "EmrClusterForLoad",
    "coreInstanceCount": "16",
    "coreInstanceType": "r3.xlarge",
    "releaseLabel": "emr-5.13.0",
    "id": "EmrClusterForLoad",
    "masterInstanceType": "r3.xlarge",
    "region": "#{myDDBRegion}",
    "type": "EmrCluster"
},

有什么建议或想法吗？

Answer 1

如果您要用尽帐户的EC2资源limit，我能想到的唯一原因。 Datapipeline honors此限制。

如果您没有用尽限制，请转到EMR的AWS控制台，找到相应的已引导集群>> Debug >>检查日志中的步骤，看看是否有什么突出之处。
您还可以直接从控制台启动EMR群集，并查看是否可以启动1个以上的从属核心节点。
除了看起来不错之外，我建议您与AWS支持联系以进行进一步的调试。

Answer 2

很奇怪。我认为这可能是一个错误。 “修复”是将“运行前调整群集大小：”的值从true更改为false。如果不是错误，则不确定我是否理解该选项。

如果要通过CLI创建管道，则条目为：

"resizeClusterBeforeRunning": "false"

当我更改此值时，突然间所有EC2实例开始创建。

AWS Data Pipeline不会创建所有从属/核心实例节点

2 个答案: