如何确定具有非线性训练集的NN的假设函数？

Question

我们有4个数字输入，它们彼此非线性相关。我们的目标是使用反向传播模型预测输出。我们成像的场景如下，

根据我们的知识（我们没有透彻理解），我们正在考虑计算任何神经元的输出（Y）的等式，

        Y  =  w1 * X1  + w2 * X2 + w3 * X3 + w4  * X4 ?

其中，
          输出Y.           输入X（X1，X2，X3，X4）           w是重量

所以在输出层，如果输出（Y）与预期的不同，我们将使用纠错修改权重。

是否有必要为非线性数据集设置特定的输出函数（假设函数）？或以上功能可以用吗？

Answer 1

这是一种思考数学的好方法，但我不同意你在上面列出的等式。

对于隐藏神经元1（HN1），其输入（inputHN1）是 w11*X1 + w21*X2 + w31*X3 + w41*X4;而输出是 f(inputHN1)。请注意，f()可能是非线性函数（也可以是线性函数）。

对于HN2，我们有f(inputHN2)

Y = beta1*f(inputHN1) + beta2*f(inputHN2)

MLP的权重（w和beta）将通过反向传播进行训练。

你会看到如果f()是非线性的，那么很好地建模非线性函数。

当然，如果f()是线性的，它只能给出线性函数的良好近似值。

如果您事先了解了您想要建模的内容，那么假设总是很有帮助。例如，您可以使用第二个订单，例如X1X2，X1 ^ 2等

，而不是第一个订单