前馈神经网络中的输入排列

Question

鉴于前馈神经网络，如何：

1. 确保它独立于输入的订单？例如，喂食[0.2,0.3]将输出与[0.3,0.2]相同的结果;
2. 确保它独立于输入组的订单？例如，喂食[0.2,0.3,0.4,0.5]将产生与[0.4,0.5,0.2,0.3]相同的结果，但不会[0.5,0.4,0.3,0.2];
3. 确保输入序列上的排列会对输出序列进行排列。例如，如果[0.2,0.3]给出输出[0.8,0.7]，则[0.3,0.2]给出输出[0.7,0.8]。

---

鉴于上述情况：

1. 除了确保列车集涵盖所有可能的排列外，还有其他解决方案吗？
2. 隐藏层的奇偶校验是否受到某种程度的约束（即隐藏层中的神经元数量必须是奇数或偶数）？
3. 在重量矩阵中寻找某种对称性是否有意义？

Answer 1

对于NN来说，这看起来很难，但是 1.我会做一些预处理，也许是后处理脚本，它会处理你的所有排列，确保给NN提供最简单的输入。我认为预先（后）处理比调整NN（添加一个或多个隐藏层）更容易实现目标

2＆n; 3 NN通常被视为黑盒子。这意味着你训练它并分析输入和输出。在大多数情况下，尝试理解它是如何在内部工作是没有意义的（时间要求很高）（当然有一些例外，例如，如果你有功能性NN并且你想挖掘一些知识 - 但是我说 - 它很耗时）。

通常，对每层隐藏神经元的数量没有限制。此外，除非你试图找到一些知识，否则在权重矩阵中寻找对称性是没有意义的......

Answer 2

我试着尽可能地回答这些问题

如何

1. 要获得所需的结果，您可以

   • 训练所有排列
   • 对输入数据进行排序并对其进行训练（因此不必另外学习排列）

2. 要获得所需的结果，您还有两种可能性

   • 训练所有排列（耗费时间）
   • 或更好，使用其他类型的网络，例如具有回声状态网络训练算法的反复神经网络（论文here）

3. 我会尝试使用回声状态网络算法再次解决它

我希望即使第二和第三个问题的可能解决方案都没有前馈网络，它也会有所帮助。

回答问题

3 我认为在权重矩阵中寻找symetries没有任何意义。