有没有计划在H2O中实施泄漏的ReLU？

Question

是否有计划在H2O的深度学习模块中实施泄漏的ReLU？我是神经网络的初学者，但是在有限的模型构建和参数调整中，我发现ReLU更好地概括，并且想知道是否可以通过使用泄漏的ReLU来避免死亡的ReLU问题来获得更好的性能。

Answer 1

这不是您问题的直接答案，因为产品路线图并非我们可以评论的内容。但是，如果您担心在H2O中死亡ReLU问题，为什么不使用ExpRectifier，它代表指数线性单位（RLU），它不会遭受死亡ReLU问题。事实上，this paper证明ELU优于所有ReLU变体。唯一的缺点是它计算量更大，因为它涉及计算中的指数。