用神经网络了解函数是线性的还是非线性的

Question

我有来自模拟的数据，这些数据是有限输入范围的组合，这可能是一个示例：

myObject.({label: 'foo'}, {name: 'bar'});

Y函数是非线性函数，但是具有所有组合的结果（与这些X一起使用），我能够训练没有隐藏层并且不使用任何激活函数（如线性函数）的回归神经网络

我的问题是我不知道我的函数是线性的还是非线性的，但是我可以用上面的示例进行推论，即在神经网络中这种有限的输入范围内，函数会产生线性的。这是正常且正确的吗？如果是，为什么？

Answer 1

您在这里真正要问的是：

  

什么使函数线性化？

我不是数学家，但我相信：如果您的函数可以画成直线，则它确实是线性的（请参阅：link）。否则，您将需要一些非线性函数来绘制它。

我对您正在询问的功能X感到有些困惑。但是，如果您要做的只是组合非线性函数Y的输出，那么是的，您的函数是线性的，并且对非线性函数的结果进行运算。这在神经网络和降维情况下经常进行，其中将输入转换为可以进行线性分离的空间。

Answer 2

Y是输入X的回归函数，其中X是x1，x2和x3的向量。仅当Y = AX + b（其中A为某个矩阵且b为向量）时，它才是线性函数。在您的情况下，它不是线性函数。自您函数中的平方项。更具体地讲，只有Y = a x1 + b x2 + c * x3 + d（Y为标量）是线性回归，其中a，b，c，d是您可能想要的参数学习。

Answer 3

我假设输入意味着您要为函数的每个自变量给出两个值。由于三重(X1, X2, X3)只有两个输入，因此可以保证具有线性关系。您需要提供其他输入以确定非线性。