如何停止在张量流网络上使用权重？

Question

我正在使用一个简单的双层网络，而不是密集连接，我想“杀死”70％的连接。

在我对这个主题的研究中，我被告知要将权重变量乘以一个零和一的数组，但是我怎么知道这些权重不会被更新，即使它们最初为零？ / p>

Answer 1

您可以使用tf.nn.dropout方法。

在节点之间随机删除＆＃39;（或者＃39; kill＆＃39;）连接。

说，你想杀死70％的连接。那么你可以这样做，

...
fc_0 = tf.nn.relu(tf.matmul(x, W_fc0) + b_fc0)
fc_0 = tf.nn.dropout(fc_0, keep_prob=0.3)
fc_1 = tf.nn.relu(tf.matmul(fc_0, W_fc1) + b_fc1)
fc_1 = tf.nn.dropout(fc_1, keep_prob=0.3)
...