我们可以通过将BatchNorm与PReLU一起使用来提高性能吗？

Question

我有一个如下网络

BN-Scale-ReLU

我想用PReLU取代ReLU。然后，它将是

BN-Scale-PReLU

我可以通过第二次设置获得任何收益吗？为什么？在我搜索时，第二个设置并不那么受欢迎。在一些论文中，他们取代了BN-Scale-ReLU = PReLU。这样对吗？

Answer 1

有一篇论文评估了这些选择，可以在这里找到：https://arxiv.org/pdf/1606.02228.pdf。使用PReLU可以获得更高的准确度，但这非常小。我不确定这种改进是否抵消了使用PReLU而不是ReLU所需的更高工作量。问题是你已经在评估最后一个百分点的准确性了吗？如果不是因为选择只会对模型的性能产生轻微影响而烦恼。