Scala Spark负载保存的MLlib模型

Question

我已经在我的S3路径中保存了一个随机森林模型，现在我想加载它。但是，我得到一个错误，即该方法不存在。

代码（保存模型有效）：

frontend

代码（加载模型无效）

import org.apache.spark.ml.classification.RandomForestClassifier

    val rfClassifier = new RandomForestClassifier()
      .setImpurity("gini")
      .setMaxDepth(8)
      .setNumTrees(200)
      .setFeatureSubsetStrategy("auto")
      .setSeed(18)

   val rfModel = rfClassifier.fit(trainingFeatures)
    rfModel
    .write
    .overwrite()
    .save(<MY S3 PATH>)

错误：

val rfmodel = RandomForestClassifier.load(<MY S3 PATH>)
)

不确定使用load方法时为什么会发生此错误

Answer 1

您应该加载RandomForestClassificationModel而不是RandomForestClassifier。

替换为：

val rfmodel = RandomForestClassificationModel.load(<MY S3 PATH>)

有关模型持久性here

的更多信息