在keras中创建自定义的“不可区分的”激活功能

Question

是否可以创建以下形式的自定义激活功能：

def newactivation(x):
    if x <= -1:
        return -1
    elif x > -1 and x <= 1
        return x
    else :
        return 1

所以基本上它是tanh（x）的线性化版本。

函数优化过程中是否存在问题，函数在-1和1处有两个不可微的位置？

我该如何实现？

Answer 1

这很容易通过clip函数实现：

z

由于梯度永远不会爆炸，因此不应该成为问题，此函数的形状类似于ReLU。