适合选择神经网络的激活功能

Question

我没有完全理解关于第2点的问题。这是解决为所有层应用相同激活函数的任务的好方法，还是对不同层应用不同激活函数的更好解决方案？应用sigmoid函数是一个不错的选择吗？将Sigmoid函数用于中间层是否是一个不错的选择？

Answer 1

您可以尝试人工神经网络的许多不同的架构变体。这里没有一些规则可以最佳地选择架构，这是一个经验案例。看看这个链接：

1. link1
2. link2

以下是本文的摘录：

  

现在，要使用哪些激活功能。这是否意味着我们只是使用   ReLu我们做的一切？还是sigmoid还是tanh？嗯，是的，不。什么时候   你知道你想要近似的功能是肯定的   特征，你可以选择一个激活功能   更快地逼近功能，从而加快培训速度。   例如，sigmoid适用于分类器（参见图表）   sigmoid，它不显示理想分类器的属性吗？ ）   因为将分类器函数近似为sigmoid的组合   例如，比ReLu更容易。这将导致更快   培训过程和融合。您可以使用自己的自定义   功能呢！如果你不知道你的功能的性质   试着学习，然后也许我会建议从ReLu开始，然后   向后工作。 ReLu大部分时间都是一般的近似值！

无论如何，我会选择隐藏层中的Sigmoid函数和输出层中的Linear