我只是想让pysparkling工作,但是改变了web UI的端口。我查看了帮助文件,他们似乎参考了旧版本的苏打水。目前正在运行
from pysparkling import *
hc = H2OContext.getOrCreate(spark)
并且正在默认的54321端口上启动。我看到有一个conf对象可以传入,但我不确定如何正确设置它。任何帮助将不胜感激。
答案 0 :(得分:0)
这是您可以使用在不同端口上启动H2O群集的脚本:
## Importing Libraries
from pysparkling import *
import h2o
## Setting H2O Conf Object
h2oConf = H2OConf(sc)
h2oConf
## Setting H2O Conf for different port
h2oConf.set_client_port_base(54300)
h2oConf.set_node_base_port(54300)
## Gett H2O Conf Object to see the configuration
h2oConf
## Launching H2O Cluster
hc = H2OContext.getOrCreate(spark, h2oConf)
## Getting H2O Cluster status
h2o.cluster_status()
我还写了一篇blog帖子来详细解释。