ReLU可以处理负面输入吗？

Question

我正在训练一个关于数据的神经网络，这些数据是负面的和积极的价值观。

有没有办法将数据输入ReLU网络而不将其全部转换为正数并且有一个单独的输入，表明数据是负数还是正数？

我看到的问题是输入层的负输入意味着除非你已经将权重初始化为负数，否则ReLU节点永远不会被激活并永远死亡。

Answer 1

我并不是100％确定你在问什么，因为有许多激活功能，你可以轻松编写自己的代码。如果您不想编写自己的代码，可以尝试其他选择：

Leaky ReLU

参数化ReLU

基本上，看看here

Answer 2

如果你真的在输入层使用激活功能，我建议使用另一个激活函数，如ELU，或者将数据转换为范围[0,1]。 如果ReLU函数位于某个隐藏层中，则ReLU函数应该只是暂时死亡。

假设您在前馈网络的最后一个隐藏层中有ReLU功能。使用反向传播算法，应该可以以这样的方式改变先前隐藏层的输出，使得最终ReLU功能的输入将再次变为正。然后ReLU就不会再死了。有可能我在这里遗漏了一些东西。

无论如何，你一定要试试ELU吧！我用它比用ReLU经历了更好的结果。