深度学习概念-超参数调整权重RNN / LTSM

Question

当我们构建模型并对其进行训练时，初始权重将被随机初始化，除非指定（种子）。

我们知道，可以调整各种参数，例如历元，优化器，batch_size等，以找到“最佳”模型。

我遇到的问题是：即使我们在调整后确实找到了最佳模型，权重也会有所不同，从而产生不同的模型和结果。因此，如果我们使用“最佳参数”再次编译并运行该模型，则最好的模型可能不是最佳模型。如果我们使用权重参数对权重进行播种，我们将不知道这些权重是否是最佳权重。另一方面，如果我们调整权重，那么“最佳参数”将不再是最佳参数了吗？我陷入了困境。是否有关于哪些参数首先要调整的一般指南？

还是整个逻辑在某处存在缺陷，我想得太多？

Answer 1

1. 我们随机初始化权重，以确保每个节点的行为都不同（不对称）。
2. 取决于超参数（时期，批处理大小等，迭代等）。权重将更新，直到迭代持续进行。最后，我们将更新后的权重称为模型。
种子用于控制初始化的随机性。如果我没记错的话，那么不管种子值如何，一个好的学习算法（目标函数和优化器）都可以收敛。
3. 同样，好的模型意味着调整所有超参数，并确保模型不拟合。
4. 另一方面，即使模型也不应该过拟合。
5. 没有什么是最佳参数（权重，偏差），我们需要不断调整模型，直到结果令人满意并且主要部分是数据处理为止。