我有一些问题。
randperm在训练数据和测试中的作用是什么?就像这个例子Multi-Class SVM( one versus all)我仍然不明白为什么要使用randperm?
如果我有手写字母这样的数据,我可以像我的情况一样使用randperm吗?
是否有任何资源/纸张可用作此问题的背景?我需要一些帮助,谢谢。
答案 0 :(得分:0)
我只能回答1。
训练集的要点是开发泛化,然后使用测试集进行测试以测试您的泛化。如果您调整了有关学习算法的任何内容并重新训练/重新测试而没有创建新的训练和测试集,那么您实际上只是在学习测试集,而不是开发泛化。
如果在训练和测试数据的混乱中你的结果是稳定的,那么你更有可能学会了很好的概括。
这称为重复保持方法 - 有关几种方法的简要讨论,请参阅http://www.umiacs.umd.edu/~joseph/classes/459M/year2010/Chapter5-testing-4on1.pdf。正如alrikai在评论中所建议的那样,这是stats.stackexchange.com上讨论的那种材料。例如:https://stats.stackexchange.com/questions/19048/what-is-the-difference-between-test-set-and-validation-set