在训练中拆分数据,在与受试者无关的10倍交叉验证中进行验证和测试?

时间:2018-12-18 02:47:39

标签: dataset cross-validation hyperparameters train-test-split

我正在进行情绪分析。该领域的最新论文进行了独立于主题的k折交叉验证。但是我还没有看到任何使用验证集的论文。他们只提到火车设置和测试设置。例如,在10个交叉验证中,整个数据集被分为10个独立于主题的集合(sub1将仅出现在一个集合中而不是另一个集合中)。如果我们仅在训练中划分数据集并进行测试,那么将如何调整超参数。当我的val准确度变化(1%-4%),而火车准确度达到99.99%时,最终的准确度是多少。

1 个答案:

答案 0 :(得分:0)

交叉验证是创建验证集并对其进行培训的过程。您可以通过在交叉验证期间监视验证指标来调整超参数。如果您的验证精度在1-4%之间,而您的训练精度接近完美,则说明您的模型过度拟合(很多)。有许多方法可以解决过度拟合的问题,但是其中许多都是特定于模型的,所以我d需要更多信息才能进一步提供帮助。