神经网络 - 如何测试它是否正确实施？

Question

我使用Tensorflow实现了神经网络。在实施和培训期间，我发现了一些不那么重要的错误。 示例：在训练期间，我对不同的步骤/时期有相同的小批量丢失，但准确度不同。

现在，神经网络似乎准备好并正常工作。我还没有成功地训练它，但我正在研究它。

无论如何，我想以某种方式检查我在那里没有做任何计算错误。我正在考虑为＆＃34;假的＆＃34;生成一些人工数据。分类问题，让我们说4个功能。分类应该在分类输出和4个特征之间具有非常明确的人类可理解的依赖性。我们的想法是尝试在其上训练NN，看看它的表现如何。

您怎么看？

Answer 1

斯坦福大学的c231n有一些关于此的一般提示，例如渐变检查。

如果您只是学习神经网络，为什么不尝试在某些已知数据上运行实现？许多课程通过指定超参数的模型提供错误和损失曲线，因此您可以检查实现的行为是否与正确的实现有很大不同。