假设我们有一个完全连接的网络,有1个隐藏层。让我们调用网络X
的输入。现在假设输入所依赖的变量Z
,即X = f(Z,D)
,其中D
是可用的训练数据。之后,X
然后被馈送到网络,例如输出将为Y=f(X,W)
,其中W和b确实是网络权重和偏差。
换句话说,网络的输入取决于训练数据和变量。现在,在根据X
编写损失函数时,显然优化也将取决于Z
的值,因此网络也将学习该变量。
这有意义吗?这种模型在一般意义上仍然是神经网络吗?
P.S。:Z
是模型的可训练变量。网络运行(在张量流中)并且实际上正在学习变量,我的奇迹更多的是关于这种模型的架构级别/数学细节。