选择激活功能

时间:2018-05-14 21:27:45

标签: tensorflow machine-learning deep-learning autoencoder

我在Tensorflow上制作一个AutoEncoder,它将输入作为一个3D矩阵,其值在[-1,1]的范围内。这种情况的最佳激活函数是什么?

另外,在输入范围中选择激活函数w.r.t的经验法则是什么?

2 个答案:

答案 0 :(得分:0)

首先,通常建议使用批量标准化来启动网络,这或多或少会将值限制在-1和1之间。

隐藏层的激活功能应该具有非线性,以便能够处理更高级别的复杂性。所以我选择 relu 或其变体之一。

在网络的最后,在最后一层,您可以拥有一个没有激活功能的密集层,以允许映射负值。

答案 1 :(得分:0)

选择激活功能时没有“经验法则”。

我使用this指南根据复杂程度选择我的激活功能

另请参阅this答案以获取更多指导