Spark ml中的Gradient Boosted Trees(GBT)是否有runWithValidation功能?

时间:2016-12-19 17:37:19

标签: scala apache-spark machine-learning

想知道Spark ml中是否存在针对Gradient Boosted Trees(GBT)的runWithValidation功能以防止过度拟合。它在mllib中与RDD一起使用。我对数据帧看起来一样。

1 个答案:

答案 0 :(得分:0)

在Spark中找到了K-Cross交叉验证支持。可以使用带有Estimators,Evaluators,ParamMap和折叠次数的CrossValidation()来完成。这有助于找到模型的最佳参数,即模型调整。

有关详细信息,请参阅http://spark.apache.org/docs/latest/ml-tuning.html