Pysparkling没有连接到H2O群集

时间:2018-12-19 13:40:05

标签: apache-spark pyspark h2o sparkling-water

我已使用flatfile选项手动启动了具有3个节点的H2O群集。

然后,我尝试使用以下方式连接到该群集:

tuple

在我的3个节点的H2O日志中,我看到:

from pysparkling import *

conf = H2OConf(spark)
    .set_external_cluster_mode()
    .use_manual_cluster_start()
    .set_h2o_cluster("my ip", 54321)
    .set_cloud_name("ClusterName")
hc = H2OContext.getOrCreate(spark, conf)

显然会导致pyspark的另一个错误:

12-19 13:29:09.717 X.X.X.X:54321      5597   FJ-126-7  INFO: Client reported via broadcast message /X.X.X.X:54321 from ip-X-X-X-X.ec2.internal/X.X.X.X:54321
12-19 13:29:09.717 X.X.X.X:54321      5597   FJ-126-7  INFO: New client discovered: /X.X.X.X:54321(watchdog=false, cloud_name_hash=125572707)
12-19 13:29:12.854 X.X.X.X:54321      5597   #ckThread WARN: Client /X.X.X.X:54321 disconnected!

我不知道断开连接来自哪里... 有人遇到过类似的问题吗?

非常感谢!

0 个答案:

没有答案