ReLU和Tanh激活功能的数据缩放

Question

我有X_train和Y_train。 X_train和Y_train在（-2,2）之间具有正值和负值。 Tanh激活函数的值可以介于（-1,1）之间。同样，ReLU只能具有大于1的正值。如果我想缩放数据以使用深度神经网络进行训练，是否应考虑激活函数来决定缩放范围？

如果我使用Tanh激活功能，是否可以将数据缩放到（-1,1）范围？同样，是否需要在（0,1）之间缩放数据以实现ReLU激活功能？

我的未缩放数据同时具有正数和负数。我正在使用（0,1）和ReLU激活函数之间的缩放比例。我对这些设置的预测有疑问。解决方案通过ReLU激活功能在（0,1）缩放比例上有所不同。但是，如果我使用（-1,1）缩放和ReLU激活功能，则解决方案不会分歧。我还发现缩放范围不会影响对tanh激活函数的预测。

谢谢。

Answer 1

否，您不需要根据非线性来缩放数据值。只需对数据进行标准化，就可以了。