使用SELU激活函数

Question

在变分自动编码器架构中，我们使用了mu和sigma完全连接层。然后是潜在的可变层，它们来自高斯分布，即来自下面层的μ和西格玛。在成本函数中，我们使用KL散度来确保潜变量的激活遵循单位高斯分布。

因此，由于SELU旨在确保单位高斯激活，我们是否可以移除mu和sigma完全连接层并使用SELU激活功能。

谢谢！

Answer 1

您使用的激活功能在此处无关紧要，因为编码器网络中的最后一层不应激活。因此，即使SELU收敛到单位高斯分布，如果你没有激活生成潜在变量的图层，它也不会是单位高斯。

此外，编码器网络的输出是潜在变量分布的均值和方差，而不是潜在变量本身。因此，我们希望编码器输出的第一列为0，编码器输出的第二列为1，而不是让它们为单位高斯。 SELU将使均值和方差的分布遵循单位高斯，这在这里没有意义。