深度学习的最佳做法，在各层中使用相同的激活

Question

深度学习中是否有任何规则或最佳实践可以在预期的输出层中使用相同的激活功能，

例如，如果我在一层中使用ReLu，是否有任何规则或最佳实践在整个网络中使用Relu，或者我可以使用Tan或任何其他激活功能吗？

Answer 1

通常，ReLU可以使您的网络培训融合更快。另请参见此answer。因此，如果没有其他考虑，您可能希望在所有层上坚持ReLU激活。