针对不同变量集的配对T检验

Question

比较不同变量/属性集的机器学习算法的结果，但同样的样本是否有意义？

我正在比较不同的变量/属性组以找到最有效的变量/属性组。通常，您使用t检验来比较另一个样本是否在相同变量上具有显着不同的结果。 我可以这样做吗？

Answer 1

如果要比较从一个样本派生的两个值，可以使用单样本t检验。

但是，如果要比较两个以上的值，则由于多重比较问题，不应使用t检验。基本上这只意味着你计算得越多的t检验就越有可能得到1型错误。为了避免这种情况，你可以用成对比较计算重复测量方差分析（例如Bonferroni）。