想知道Spark ml中是否存在针对Gradient Boosted Trees(GBT)的runWithValidation功能以防止过度拟合。它在mllib中与RDD一起使用。我对数据帧看起来一样。
答案 0 :(得分:0)
在Spark中找到了K-Cross交叉验证支持。可以使用带有Estimators,Evaluators,ParamMap和折叠次数的CrossValidation()来完成。这有助于找到模型的最佳参数,即模型调整。
有关详细信息,请参阅http://spark.apache.org/docs/latest/ml-tuning.html。