具有重载/阶跃函数的神经网络学习算法

Question

对于前馈神经网络的训练算法是否有任何实现（或直接描述），它不使用S形或线性壁球函数，而是不可微分的，例如重质函数？< / p>

我已经找到了paper on such an algorithm，但没有根据实施，我觉得很困惑，因为在我看来，应该有一些东西。

任何提示？

Answer 1

反向传播不适用于重力函数，因为它的推导在所有域中都为零，除了零点，它是无限的。也就是说，重函数的导数是Dirac delta。

这样做的结果是零以外的任何值都没有变化，也无法取得进展。在零点处，派生是无限的，因此该步骤也是不可控制的。

您可以在线找到implementation for this function in Java，但我仍然认为使用它不是一个好主意。如果你增加了sigmoid函数中的gama功率，它就会成为一个非常好的近似函数，具有可微分性的附加好处。

检查this paper，看看它是否有任何可能对您有帮助的信息。