在tf-slim中实现跳过/残留层

时间:2017-05-26 00:15:36

标签: tensorflow neural-network tf-slim

我一直试图弄清楚如何使用tf-slim实现跳过/残留连接,但我似乎无法得到它。

我知道跳过连接基本上不仅提供直接下一层的输入,还提供后面的层的输入。我还读了几篇关于跳过层的文章,回想一下他们提到F(x)+ x,我假设是x上的激活函数加上另一个x。我不确定在tf-slim中实现跳过/残留层有多大帮助。

以下是我为其编写的代码,但我不能100%确定我是否正确地执行了此操作。该模型运行但我不确定它是否利用了跳过连接和所有内容!

    input_layer = slim.fully_connected(input, 6000, activation_fn=tf.nn.relu)
    drop_layer_1 = slim.dropout(input_layer, 0.5)
    hidden_layer_1 = slim.fully_connected(drop_layer_1, 6000, activation_fn=tf.nn.relu)
    drop_layer_2 = slim.dropout(hidden_layer_1, 0.5)
    skip_layer = tf.add(input_layer, drop_layer_2)
    activate_layer = tf.nn.relu(skip_layer)
    output = slim.fully_connected(activate_layer, num_classes, activation_fn=tf.nn.softmax)

非常感谢任何帮助。提前谢谢!

0 个答案:

没有答案