Question

我正在尝试实现和测试我在论文中阅读的激活功能。

我正在将Keras与tensorflow后端一起使用，我想将激活函数提供给模型的fit方法。这是函数的数学形式：

我试图通过两种方式实现这一目标：

def function_1(x):

    cond1 = tf.greater(x , 2.0)
    cond2 = tf.logical_and(tf.less_equal(x, 2.0), tf.greater_equal(x, 0.0))
    cond3 = tf.logical_and(tf.less(x, 0.0), tf.greater_equal(x, -2.0))
    cond4 = tf.less(x, -2.0)

    y = tf.where(cond1, tf.constant(1.0) , tf.where(cond2,
    x - 0.25*tf.square(x), tf.where(cond3, x + 0.25*tf.square(x), 
    tf.where(cond4, tf.constant(-1.0), tf.constant(-1.0)))))

    return y

def function_2(x):

    cond1 = tf.greater(x , 2.0)
    cond2 = tf.logical_and(tf.less_equal(x, 2.0), tf.greater_equal(x, 0.0))
    cond3 = tf.logical_and(tf.less(x, 0.0), tf.greater_equal(x, -2.0))
    cond4 = tf.less(x, -2.0)

    y = tf.case({cond1: lambda x: tf.constant(1.0), cond2: lambda x: x - 
    0.25*tf.square(x), cond3: lambda x: x + 0.25*tf.square(x),
    cond4: lambda x: tf.constant(-1.0)}, exclusive = True)

    return y

在两种情况下，我都会遇到相同的错误：

InvalidArgumentError：形状必须等于等级，但对于输入形状为[？，5]，[]，[]的'dense_22 / Select'（操作：'Select'），形状应为0和2。

正确的方法是什么，我的代码有什么问题？

Answer 1

您可以尝试lambda层，在网络中添加我们的自定义层或功能非常方便。这是一个示例：

dense1 = Dense(dims)(input)   
act1 = Lambda(customFunc, output_shape)(dense1)

def customFunc(x):
    """-----operations----""""
    # final output y of shape defined as above in layer
    y = conditioned-output
    return y

这里有更多链接info，这是另一个有用的link，并通过示例进行了说明。

Answer 2

问题是，您将形状为[None, 5]（等级2）的张量与缩放器（等级0）进行比较，而tf.greater或tf.less则无法实现。相反，您可以使用支持广播的tf.math...。

以下是实现此功能的一种可能的解决方案：

import tensorflow as tf

x = tf.placeholder(dtype=tf.float32, shape=[1, 5])

cond1 = tf.cast(tf.math.greater(x, 2.0), tf.float32)
cond2 = tf.cast(tf.math.logical_and(tf.math.less_equal(x, 2.0), tf.math.greater_equal(x, 0.0)), tf.float32)
cond3 = tf.cast(tf.math.logical_and(tf.math.less(x, 0.0), tf.math.greater_equal(x, -2.0)), tf.float32)
cond4 = tf.cast(tf.math.less(x, -2.0), tf.float32)

a = tf.math.multiply(cond1, 1.0)
b = tf.math.multiply(cond2, (x - tf.square(x) / 4))
c = tf.math.multiply(cond3, (x + tf.square(x) / 4))
d = tf.math.multiply(cond4, -1.0)

f = a + b + c + d

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(f, feed_dict={x: [[-1.0, -5, 1.5, -1.5, 5]]}))

张量流中的分段激活函数和广播数学运算

2 个答案: