Pyspark ML的定制变压器

时间:2016-08-23 22:03:32

标签: apache-spark pyspark apache-spark-ml

我正在尝试使用Pyspark 1.6.0编写自定义Estimator以适应Pipeline,所以我在How to Roll a Custom Estimator in PySpark mllib中尝试解决方案

它适用于Spark 2.0,但当我删除TypeConverter参数(仅存在于Spark 2.0中)以测试它Spark 1.6.0时,它显示错误:

ValueError: Param Param(parent='undefined', name='centered_threshold', doc='centered_threshold') does not belong to NormalDeviation_4dc98930f6cd0fd37ce6.

我不允许在生产中使用Spark 2.0。如何更改此代码以使其在Spark 1.6.0上运行?

0 个答案:

没有答案