无法在Spark中为决策树保存PipelineModel

Question

在尝试使用一个估算器（决策树）保存来自管道的模型管道时，我有这样的错误：

Exception in thread "main" java.lang.UnsupportedOperationException: Pipeline write will fail on this Pipeline because it contains a stage which does not implement Writable. Non-Writable stage: dtc_c13531497173 of type class org.apache.spark.ml.classification.DecisionTreeClassificationModel

我已经看到其他估算师遇到过类似的问题，您是否知道有任何解决方法？

由于

Answer 1

这不是一个错误。如果PipelineModel包含未实现MLWritable的阶段，则属于正常行为。

如何解决？将Spark安装更新为2.0+。见SPARK-11888