如何在PySpark环境中向随机森林模型添加检查点？

Question

我正在使用RandomForest.trainClassifier。

支持的参数是：

• 输入
• numClasses
• categoricalFeaturesInfo
• numTrees
• featureSubsetStrategy
• 杂质
• MAXDEPTH
• maxBins
• 种子

但Scala中提供了useNodeIdCache，checkpointDir和checkpointInterval等额外参数。

如何在PySpark中实现这些功能？

Answer 1

pyspark.mllib处于维护模式并且开发时间较长（无法添加对这些功能的访问权限）。如果您使用全功能API pyspark.ml，则提供：

• setCacheNodeIds
• setCheckpointInterval