在回归的情况下，神经网络的活动功能应该是什么？

Question

我的问题是基于https://www.youtube.com/watch?v=oYbVFhK_olY&list=PLQVvvaa0QuDfKTOs3Keq_kaG2P55YRn5v&index=43

的理解

在神经网络中，神经元由阈值（激活）功能激活，在上面的例子中，该功能是一个S形函数。对于回归问题，我们需要激活函数吗？ 问候 Souvik

Answer 1

是。它也需要神经网络回归中的激活功能。如果将神经网络回归到连续范围输出，则可以使用类似sigmoid的函数作为激活函数。避免类似阈值的激活功能。除输出节点外，还需要在输入和隐藏层的所有中间节点上具有激活功能。

Answer 2

对于隐藏图层，您应该使用Relu并且不要对输出图层使用激活功能。

请查看此文档：Linear Regression

Answer 3

让我们明白一些术语： 通过＆＃34;回归＆＃34;我们通常指的是最简单的模型，其中每个自变量都有一个参数，我们将变量与参数相乘。在线性回归中，我们停在那里，连续输出。在逻辑回归中，我们还使用＆＃34;激活函数＆＃34;，可能是sigmoid，以使输出在范围（0,1）内，然后我们可以使用阈值（如x> 0.5）来判断输出是0还是1。

因此，regession就像一个有0个隐藏层的神经网络。

现在我假设您的意思是您希望神经网络具有连续输出，如线性回归。所以很自然地，我们不想使用任何扭曲的＆＃34;输出层上的函数。

但是，我们确实希望对隐藏层中的神经元使用激活函数。这背后的原因是我们希望网络能够打破线性 - 因此网络将能够做更有趣的事情，而不仅仅是将变量乘以不同的参数，允许它以不同的方式组合它们。这个想法是允许网络模拟任何功能，甚至非线性功能。

那么我们应该选择哪种激活来打破线性？有很多选择... sigmoid，tanh，relu，leaky-relu，elu，还有更多。今天最常见的是relu，但这可能会改变......它主要是一项实证研究，研究哪些方法效果最好，并允许最快的学习。并且由神经网络架构师决定他们想要使用哪个功能。随着您了解更多这些功能及其优缺点，您将能够针对每个问题尝试一些功能，并了解哪种功能最适合您。