比较不同变量/属性集的机器学习算法的结果,但同样的样本是否有意义?
我正在比较不同的变量/属性组以找到最有效的变量/属性组。通常,您使用t检验来比较另一个样本是否在相同变量上具有显着不同的结果。 我可以这样做吗?
答案 0 :(得分:1)
如果要比较从一个样本派生的两个值,可以使用单样本t检验。
但是,如果要比较两个以上的值,则由于多重比较问题,不应使用t检验。基本上这只意味着你计算得越多的t检验就越有可能得到1型错误。为了避免这种情况,你可以用成对比较计算重复测量方差分析(例如Bonferroni)。