为什么在进行VAE后，完全前馈网络中的平均绝对误差不会下降？

Question

我正在尝试建立一个预测模型，最初我做了变分自动编码器，并将功能从2100减少到64.

现在有（5000 X 64）样本用于训练和（2000 X 64）用于测试，我尝试建立一个完全前馈或MLP网络，但结果当我的平均绝对误差达到161时，它＆＃39;没有下降。我尝试改变所有超级参数以及隐藏层，但没有用。

任何人都可以说明原因是什么以及如何克服这个问题？

Answer 1

首先，训练神经网络可能有点棘手。训练后的网络性能（甚至是训练过程本身）取决于很多因素。其次，您必须更加具体地了解您的问题中的数据集（问题而非）。 只要看看你的问题，可以说是......

• 您的数据中的值范围是多少？如果出现平均值绝对误差，则错误的幅度为161非常高。您的数据似乎有很大的价值。 （尝试对数据进行标准化，即减去平均值并除以每个要素/变量的方差。
• 您如何初始化网络的权重？训练表现在很大程度上取决于初始体重值。错误的初始化可能导致局部最小化。 （尝试使用Glorot的初始化方法初始化）
• 您已将维度从2100减少到64.这不是太多了吗？ （实际上可能没问题，但这实际上取决于你的数据）。