我可以使用不同的验证方法与其他纸张进行比较吗？

Question

我想写一篇使用开放数据集的学术论文。我发现这个数据集的作者和一些研究人员使用10倍交叉验证，其他研究人员不知道他们使用了哪种验证和测试方法。所以我不确定应该使用什么。

我可以使用列车测试分割方法与其他纸张的准确度进行比较吗？例如，70％的训练集，15％的验证集和15％的测试集。

Answer 1

简短的回答是否定的，使用不同的泛化估计不会产生统计上的声音结果。如果作者声称他们使用了10倍交叉验证并且您想要与它们进行比较，则只有两个选项：

1. 使用您的方法进行10倍交叉验证（是的，拆分会有所不同，但10倍交叉验证对于相当大的数据集来说是相对较强的估算，而不是15％的单一拆分）
2. 重新实施其他方法并使用您的评估方案。

请注意，如果2只使用15％的数据点进行评估，那么仅如果您有大量数据（大概是大约70,000点左右，那么15％是实际上是10,000个样本）