如何比较不同的型号配置

Question

我正在实施一个用于文本分类的神经网络模型。我在RNN和lstm神经网络上尝试不同的配置。

我的问题：如何比较这些配置，我应该使用训练集准确度，验证准确度还是测试集准确度来比较模型？

Answer 1

我将解释如何最终比较不同的RNN模型。

首先，我使用CPU进行模型训练。这样可以确保每次运行时都获得相同的模型参数，因为众所周知GPU计算是不确定的。

第二，每次运行我都使用相同的tf种子。为了确保每次运行中生成的随机变量都相同。

最后，我使用验证准确性来优化我的超参数。每次运行时，我都会使用不同参数的组合，直到选择验证精度最高的模型作为我的最佳模型。