我想用H2O的mojo对象对Pyspark / Jupyter笔记本中的传入数据管道进行评分。
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.config("spark.executor.extraClassPath","/path/h2o-genmodel.jar") \
.config("spark.driver.extraClassPath","/path/h2o-genmodel.jar") \
.config("spark.jars","/path/h2o-genmodel.jar")
MojoModel = spark._jvm.hex.genmodel.MojoModel
EasyPredictModelWrapper = spark._jvm.hex.genmodel.easy.EasyPredictModelWrapper
RowData = spark._jvm.hex.genmodel.easy.Rowdata
mojo = MojoModel.load("mojo_path")
当我跑步时:
print(spark._jvm.hex.genmodel.MojoModel)
我得到“ py4j.java_gateway.JavaPackage对象位于0x7fb8ac768d30”。这是否告诉我该软件包已成功加载并被spark看到?
但是,命令
mojo = MojoModel.load("mojo_path")
给出“ TypeError:'JavaPackage'对象不可调用”
请告知其他依赖项或配置设置。我选择的配置设置基于其他几个stackoverflow票证。