如何在TensorFlow中使用线性激活功能？

Question

在CUDA ConvNet中，我们可以通过编写neuron=linear[a,b]来指定神经元激活函数是线性的，例如f(x) = ax + b。

如何在TensorFlow中获得相同的结果？

Answer 1

在TensorFlow中编写线性激活的最基本方法是使用tf.matmul()和tf.add()（或+运算符）。假设您有一个前一层的输出矩阵（我们称之为prev_layer），其大小为batch_size x prev_units，线性图层的大小为linear_units：< / p>

prev_layer = …

linear_W = tf.Variable(tf.truncated_normal([prev_units, linear_units], …))
linear_b = tf.Variable(tf.zeros([linear_units]))

linear_layer = tf.matmul(prev_layer, linear_W) + linear_b