在pyspark / jupyter env中使用MOJO评分

时间:2019-03-17 18:00:32

标签: pyspark jupyter-notebook mojo

我想用H2O的mojo对象对Pyspark / Jupyter笔记本中的传入数据管道进行评分。

from pyspark.sql import SparkSession
spark = SparkSession.builder \
                    .config("spark.executor.extraClassPath","/path/h2o-genmodel.jar") \
                    .config("spark.driver.extraClassPath","/path/h2o-genmodel.jar") \
                    .config("spark.jars","/path/h2o-genmodel.jar")
MojoModel = spark._jvm.hex.genmodel.MojoModel
EasyPredictModelWrapper = spark._jvm.hex.genmodel.easy.EasyPredictModelWrapper
RowData = spark._jvm.hex.genmodel.easy.Rowdata
mojo = MojoModel.load("mojo_path")

当我跑步时:

print(spark._jvm.hex.genmodel.MojoModel)

我得到“ py4j.java_gateway.JavaPackage对象位于0x7fb8ac768d30”。这是否告诉我该软件包已成功加载并被spark看到?

但是,命令

mojo = MojoModel.load("mojo_path")

给出“ TypeError:'JavaPackage'对象不可调用”

请告知其他依赖项或配置设置。我选择的配置设置基于其他几个stackoverflow票证。

0 个答案:

没有答案