在LightGBM中选择num_leaves?

时间:2019-03-08 10:18:38

标签: machine-learning hyperparameters lightgbm

是否有任何经验法则可以初始化num_leaves中的lightgbm参数。例如,对于1000个特色数据集,我们知道tree-depth中的10可以覆盖整个数据集,因此我们可以相应地选择它,并且用于调整的搜索空间也受到限制。

但是在lightgbm中,我们如何大致猜出该参数,否则在使用网格搜索方法时其搜索空间会很大。

选择此参数的任何直觉都会有所帮助。

1 个答案:

答案 0 :(得分:1)

我碰到的最佳建议是lightgbm github上的this awesome summary by Laurae。和往常一样,这很大程度上取决于您的数据。

基于有限的kaggle经验,我个人的经验法则是从尝试[10,100]范围内的值开始。但是,如果您有选择树深度的可靠方法,则可以随时使用它并将num_leaves设置为2^tree_depth - 1