超过10个节点的大型集群的呼呼声

时间:2014-06-20 00:47:11

标签: hadoop amazon-ec2 amazon

每当我尝试使用whirr -0.8.2启动大于10个节点的集群时集群无法初始化。这是0.8.2的问题。在Jira,它已被提出它已在最新的主干中解决。

1 个答案:

答案 0 :(得分:0)

最后我能解决这个问题。我从主干(版本0.9.0)建立了whirr。然后添加以下参数以增加超时时间。

jclouds.compute.timeout.node-terminated=2200000
jclouds.compute.timeout.node-running=2600000
jclouds.compute.timeout.script-complete=22000000
jclouds.compute.timeout.port-open=2200000 jclouds.ssh.retry-auth=true
jclouds.compute.poll-status.initial-period=20000
jclouds.compute.poll-status.max-period=20000

除此之外还补充说:

whirr.instance-templates-max-percent-failures=100
hadoop-namenode+yarn-resourcemanager+mapreduce-historyserver,80
hadoop-datanode+hadoop-tasktracker
whirr.terminate-all-on-launch-failure=true

现在,whir能够启动大型集群。