标签: pyspark apache-spark-ml
如何在pyspark中创建自定义模型?
在scikit中学习很容易(见Rolling your own estimator)。
然而,在pyspark我找不到任何类似的文件。
我从阅读source code中发现,有三个相关的基础接口:模型,估算器和变换器
然而,我不清楚我是应该继承Model还是Estimator。特别是参数的继承很复杂。
我已经看到了类似的答案here,但差不多有一年的时间了,我想从那以后情况发生了变化。它似乎也指mllib而不是ml版本的spark。