如何在Cloud Formation模板中将mapreduce.reduce.memory.mb属性添加到EMR Cluster?

时间:2016-11-24 17:27:25

标签: emr amazon-emr elastic-map-reduce amazon-cloudformation

我一直在研究如何修改EMR为群集提供的默认值,具体取决于它的机器类型。

就我而言,它是一个非常基本的设置,m4.large为主,c3.2xlarge为核心,任务相同。 EMR在任务中为此属性设置的值为2880(来自http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html)。但是,我需要增加此默认值。

我一直在尝试在我的Cloud Formation模板中更改此默认配置,但出于某种原因,它并不接受它。这就是我在CF模板中添加的内容,我似乎无法在网上找到任何这样的例子:

    "Configurations" : [{
      "Classification": "mapred-site",
      "Properties": {
        "mapreduce.reduce.memory.mb": "4096"
    }}]

非常感谢任何帮助!

1 个答案:

答案 0 :(得分:1)

我遇到了类似的问题,我的解决方案是将密钥名称从Properties更改为ConfigurationProperties,因为CF中的语法似乎与您使用的有点不同在EMR的配置部分。

试试这个:

"Configurations": [
  {
      "Classification": "mapred-site",
      "ConfigurationProperties": {
        "mapreduce.reduce.memory.mb": "4096"
      },
      "Configurations": []
  }
]