你应该为回归任务规范化神经网络的输出吗?

时间:2017-08-02 01:13:38

标签: machine-learning neural-network normalization

我制作了一个CNN,它将信号作为输入并输出模拟中使用的参数来创建该信号。我听说回归任务you don't normally normalize the outputs到神经网络。但是模型试图预测的变量具有非常不同的标准偏差,例如一个变量总是在[1x10 ^ -20,1x10-24]的范围内,而另一个变量几乎总是在[8,16]的范围内。我的问题是,因为所有损失函数首先取得目标值和实际输出值之间的差异,并且这种差异自然会随着输出变量的std而缩放,而不会丢失网络,这主要取决于具有大stds的输出变量的准确性而不是那些小stds?非标准化的输出也会阻碍训练过程,因为网络可以通过猜测接近其平均值的值来获得具有非常低标准的输出变量的低损耗吗?

如果是这种情况,为什么我不能在网上找到很多关于或建议规范化输出的内容?获得可靠的损失值似乎非常重要。

0 个答案:

没有答案