如果所有偏差和权重都为零，激活函数如何被触发？

Question

以下代码来自here。在评论“创建模型”下有行

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.matmul(x, W) + b 

如果所有权重和偏差都是零，有人可以告诉我激活函数是如何被触发的吗？

Answer 1

＆＃39;被解雇＆＃39;只是意味着被评估。就像你有一个函数f(x)并知道值x一样，你计算结果。如果可以为此值评估函数，则始终会触发评估函数。

对于任何x, W, b，您的函数将被计算，因此它将始终被触发。另一件事是渐变总是0，这个网络不会学到任何东西。