无法在Databricks中创建H2OContext-使用pysparkling

时间:2018-05-18 17:55:32

标签: apache-spark pyspark h2o databricks sparkling-water

我无法使用pysparkling在Spark Databricks中创建H2OContext。它给出了以下错误。

代码:来自pysparkling import *
代码:import h2o
代码:h2oConf = H2OConf(spark)
代码:h2oConf.set(" spark.ui.enabled",True)

Out [2]:苏打水配置:   后端集群模式:内部   工人:无   cloudName:尚未设置,它将在启动H2OContext之前自动设置。   flatfile:是的   clientBasePort:54321   nodeBasePort:54321   cloudTimeout:60000   h2oNodeLog:INFO   h2oClientLog:INFO   nthreads:-1   drddMulFactor:10

代码:h2oContext = H2OContext.getOrCreate(spark,h2oConf)
错误:java.lang.NoSuchFieldError:quasibinomial

以下是群集的所有细节:
1.集群:
运行时版本:Spark 2.1(自动更新,Scala 2.11) 类型:标准 工人:4

  1. 上述群集附带的库: h2o_pysparkling_2.1,
    H 2 O-genmodel.jar

1 个答案:

答案 0 :(得分:0)

发现了这个问题。我使用的是Spark 2.1(自动更新,Scala 2.11)集群。但是在使用H2O苏打水时,我应该使用集群Spark 2.1.X-dbx(你必须使用Spark 2.1版本和Scala 2.11)。