对逻辑回归中的特征进行排名

Question

我使用Logistic回归作为分类器。我有六个功能，我想知道这个分类器中比其他功能更能影响结果的重要功能。我使用了信息增益，但它似乎并不依赖于使用的分类器。是否有任何方法根据特定分类器（如Logistic回归）的重要性对功能进行排名？ 任何帮助都将受到高度赞赏。

Answer 1

You could use Random Forest Classifier to give you a ranking of your features. You could then select the top x features from this and use it for logistic regression, although Random Forest would work perfectly fine as well.

Check out variable importance at https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm

Answer 2

这样做的一种方法是通过零假设显着性检验。基本上，对于每个要素，您都要测试该要素的系数非零的证据。大多数统计软件默认在模型摘要中报告这些测试的结果（Scikit-learn和其他面向机器学习的工具往往不这样做）。使用少量功能，您可以使用此信息和stepwise regression对功能的重要性进行排名。