我正在尝试使用Pyspark 1.6.0编写自定义Estimator以适应Pipeline,所以我在How to Roll a Custom Estimator in PySpark mllib中尝试解决方案
它适用于Spark 2.0,但当我删除TypeConverter参数(仅存在于Spark 2.0中)以测试它Spark 1.6.0时,它显示错误:
ValueError: Param Param(parent='undefined', name='centered_threshold', doc='centered_threshold') does not belong to NormalDeviation_4dc98930f6cd0fd37ce6.
我不允许在生产中使用Spark 2.0。如何更改此代码以使其在Spark 1.6.0上运行?