您是否需要为Tensorflow 2 keras中的自定义激活函数定义导数函数？

Question

在某些地方，您需要为自定义激活定义派生函数。这是真的？还是只是将tensorflow兼容函数传递给包装器和tensorflow.keras负责其余的工作？

即。

def my_actv(x):
    return x * x

model.add(Activation(my_actv))

Answer 1

如果您的函数在每个点上都不可微，则需要定义导数。例如，relu不可微为零。