我目前正在为神经网络进行超参数优化。
我有给我的火车，开发和测试文件。对于我的超参数优化，我正在使用火车和开发套件进行完整的培训。最后，我评估了给定参数组合的训练测试集。
我选择的参数可以最大化测试集上的分数。我的问题是我觉得这是错误的，因为我有点泄漏了测试集。
这个程序不好吗？我是否应该使用optunity来最大限度地提高开发集的准确性，并在最终报告中对测试集进行评分？
答案 0 :(得分：1)
通常，验证（dev）集用于比较具有各种超参数的模型。选择并训练您的首选模型后，在测试集上运行它以测量其性能。
你的直觉是正确的;使用测试集来选择模型参数在某种意义上是使用该数据来辅助训练过程，这是不可取的。
安德鲁·Ng在this post和this video中更详细地讨论了列车/验证/测试集的划分和使用。