Question

我有一个运行HDP 2.3.0的5节点hadoop集群。我按照here所述在Yarn上设置了一个H2O集群。

运行以下命令

hadoop jar h2odriver_hdp2.2.jar water.hadoop.h2odriver -libjars ../h2o.jar -mapperXmx 512m -nodes 3 -output /user/hdfs/H2OTestClusterOutput

我得到以下输出

H2O cluster (3 nodes) is up
(Note: Use the -disown option to exit the driver after cluster formation)
(Press Ctrl-C to kill the cluster)
Blocking until the H2O cluster shuts down...

当我尝试执行命令

时

h2o.init(ip="10.113.57.98", port=54321)

这个过程在这个阶段仍然停滞不前。在尝试使用ip：54321连接到Web UI时，浏览器会尝试无休止地加载H2O管理页面但是什么都没有显示。

强行终止init进程时出现以下错误

No instance found at ip and port: 10.113.57.98:54321. Trying to start local jar...

但是，如果我尝试在不设置H2O群集的情况下使用H2O和python，一切运行正常。

我以root用户身份执行了所有命令。 root用户具有从/ user / hdfs hdfs目录读取和写入的权限。

我不确定这是否是权限错误或端口无法访问。

非常感谢任何帮助。

Answer 1

看起来你正在使用H2O2（H2O Classic）。我建议将H2O升级到最新版本（H2O 3）。这里有一个专门针对HDP2.3的构建：http://www.h2o.ai/download/h2o/hadoop

运行H2O3也有点清洁：

hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output hdfsOutputDirName

此外，每个节点512mb很小 - 你的用例是什么？我会给节点更多的内存。

H2O：无法通过python

1 个答案: