为什么在hadoop上使用H2O时,我看不到Yarn中的特定任务执行?

时间:2018-05-31 13:25:11

标签: apache-spark hadoop yarn h2o

我根据官方要求在纱线上运行H2O:

http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html

这是我的命令:

cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output

h2o群集正在成功运行。 enter image description here

但是在我运行h2o-flow中的示例流后,我没有看到任何与GBM算法相关的计算,只有H2O本身。 enter image description here

我以为我会看到类似这样的东西。这是使用RapidMiner的决策树流程图的结果,它提供了每个特定的任务。 enter image description here

1 个答案:

答案 0 :(得分:1)

你看到的是H2O的预期行为。

H2O只使用YARN来获取H2O工作节点运行的容器。一旦这些容器启动,H2O就会有CPU和内存资源工作,并且不再与YARN交互。因此,YARN资源管理器知道H2O已经启动,就像你看到的那样,但不知道任何细节。

要查看详细信息,请转到H2O Flow Web UI(如上面输出中的“Open H2O Flow”消息中所述)。 Admin-> Jobs菜单项显示您要查找的内容。