AWS EMR YARN容量调度程序配置

时间:2015-09-16 01:48:31

标签: java amazon-web-services emr

我正在尝试启动带有引导操作的EMR集群来配置YARN调度程序。 这是我用来查找值的文章。

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-hadoopactivity.html http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedBootstrapActions_ConfigureHadoop

以下是引导操作:

s3://us-east-1.elasticmapreduce/bootstrap-actions/configure-hadoop -z,yarn.scheduler.capacity.root.queues = low \,high \,default,-z,yarn.scheduler。 capacity.root.high.capacity = 50,-z,yarn.scheduler.capacity.root.low.capacity = 10,-z,yarn.scheduler.capacity.root.default.capacity = 30

AMI版本:3.9.0 Hadoop发行版:亚马逊2.4.0

但我总是得到这个错误 在主实例(i-72ba3ca7)上,运行引导操作后Hadoop无法启动

我错过了什么?

1 个答案:

答案 0 :(得分:1)

我可以看到的是,下面的总和应该是100,即90(50 + 10 + 30)

yarn.scheduler.capacity.root.high.capacity = 50,-z,yarn.scheduler.capacity.root.low.capacity = 10,-z,yarn.scheduler.capacity.root.default.capacity = 30

请修改以上数字以使其为100,然后尝试一下。