Weka的SimpleLogistic函数是否使用正则化?

时间:2013-09-30 15:35:15

标签: machine-learning data-mining weka logistic-regression

我想知道Weka的简单逻辑函数是否使用正则化。

我在文档中没有看到任何提及,但我不确定。任何人都可以证实这一点吗?

*用于构建线性逻辑回归模型的分类器。使用简单回归函数作为基础学习者的LogitBoost用于拟合逻辑模型。要执行的最佳LogitBoost迭代次数是交叉验证的,这会导致自动选择属性。有关更多信息,请参阅:

Niels Landwehr,Mark Hall,Eibe Frank(2005)。物流模型树。 Marc Sumner,Eibe Frank,Mark Hall:加快Logistic Model Tree Induction。参见:第9届欧洲数据库知识发现原理与实践会议,675-683,2005。

OPTIONS

debug - 如果设置为true,分类器可能会向控制台输出其他信息。 useCrossValidation - 设置是否要交叉验证LogitBoost迭代次数,还是应使用训练集上的停止条件。如果未设置(并且没有给出固定的迭代次数),则使用LogitBoost迭代次数来最小化训练集上的错误(错误分类错误或概率错误取决于errorOnProbabilities)。

errorOnProbabilities - 在确定LogitBoost迭代的最佳数量时,将概率上的错误用作错误度量。如果设置,则选择LogitBoost迭代次数,以最小化均方根误差(在训练集或交叉验证中,具体取决于useCrossValidation)。 weightTrimBeta - 设置LogitBoost中用于重量修剪的beta值。仅在前一次迭代中携带(1-β)%权重的实例用于下一次迭代。设置为0表示没有重量修剪。默认值为0。 numBoostingIterations - 为LogitBoost设置固定的迭代次数。如果> = 0,则设置要执行的LogitBoost迭代次数。如果< 0,数字经过交叉验证或使用训练集上的停止标准(取决于useCrossValidation的值)。

useAIC - AIC用于确定何时停止LogitBoost迭代(而不是交叉验证或训练错误)。

heuristicStop - 如果heuristicStop> 0,启用了在交叉验证LogitBoost迭代次数时贪婪停止的启发式算法。这意味着如果在最后一次heuristicStop迭代中没有达到新的最小错误,则停止LogitBoost。建议使用此启发式算法,特别是在小型数据集上,它可以大幅提升速度。默认值为50。

maxBoostingIterations - 设置LogitBoost的最大迭代次数。默认值为500,对于非常小/大的数据集,可能更喜欢更低/更高的值。*

1 个答案:

答案 0 :(得分:5)

Weka有多个Logistic回归: