我一直试图弄清楚如何使用tf-slim实现跳过/残留连接,但我似乎无法得到它。
我知道跳过连接基本上不仅提供直接下一层的输入,还提供后面的层的输入。我还读了几篇关于跳过层的文章,回想一下他们提到F(x)+ x,我假设是x上的激活函数加上另一个x。我不确定在tf-slim中实现跳过/残留层有多大帮助。
以下是我为其编写的代码,但我不能100%确定我是否正确地执行了此操作。该模型运行但我不确定它是否利用了跳过连接和所有内容!
input_layer = slim.fully_connected(input, 6000, activation_fn=tf.nn.relu)
drop_layer_1 = slim.dropout(input_layer, 0.5)
hidden_layer_1 = slim.fully_connected(drop_layer_1, 6000, activation_fn=tf.nn.relu)
drop_layer_2 = slim.dropout(hidden_layer_1, 0.5)
skip_layer = tf.add(input_layer, drop_layer_2)
activate_layer = tf.nn.relu(skip_layer)
output = slim.fully_connected(activate_layer, num_classes, activation_fn=tf.nn.softmax)
非常感谢任何帮助。提前谢谢!