什么数据集可以整流线性单位分类？

Question

我正在尝试查看深层网络用于说话人识别的可能激活功能。我将输入一个标签（0和1）作为输出。我想知道整流器线性单元（ReLu）是否可以用于任何类型的输出或只是特定的输出？谢谢

Answer 1

激活功能通常仅用于隐藏层。输出单元几乎总是具有线性激活功能（即身份或无激活功能）。整形单位用于隐藏层，因为它们的渐变比它们的S形对应物简单得多，这允许更多层的更好训练。

您提到输出的标签为0或1，这是一个输出向量，N输出是0还是1？或者你的意思是你只有2个班级（0或1）。如果要进行分类（让网络输出0级或1级），可以在输出层使用Softmax激活。 Softmax将输出缩放为网络预测类的概率。

让我了解更多信息，我会看看能否提供更多帮助。