神经网络对输入过于敏感

Question

我有以下两个特征向量：

    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000

让我们拨打第一个A，第二个B。 A用于学习神经网络，如果再次将其应用于NN，则会为您提供以下输出：

 1.0000
    0.0000
   -0.0000

但是如果应用特征向量B，则以下输出将给出：

-0.2475
    1.0524
    0.5106

结果如何与此表单不同！特征向量是相同的（零除外，零的符号有差异）

Answer 1

任何模型都可以在这两个实例上表现得那样。你的问题很广泛，所以我只列出你应该考虑的一些事情。

1. 数据规范化和扩展

将feature scaling或mean normalization应用于您的数据可能会带来更好的运气。

1. 检测过度拟合

使用cross validation的方法（经常使用10倍交叉验证）来检测您是否过度拟合：如果您的训练折叠的准确性远高于您的测试折叠，那么您就过度拟合了培训数据。

交叉验证还可用于调整模型的参数以获得最佳性能：只需在每次调整后重新运行交叉验证过程。

1. 解决过度拟合

使用正则化通常可以解决过度拟合问题。您可以使用许多方法进行正则化，因此您应该进行一些搜索。

获取更多数据不太可能正确解决问题，而且通常不值得花时间。如果可以的话，那就去做吧，但这不是一个可以依靠解决过度拟合问题的银弹。