Logistic回归上SoftMax上序数目标的损失函数

时间:2014-12-18 08:00:45

标签: deep-learning theano caffe logistic-regression softmax

我正在使用Pylearn2 OR Caffe构建一个深层网络。我的目标是名义上的。我试图找到一个适当的损失函数,但在Pylearn2或Caffe中找不到任何。

我读了一篇论文"偏好级别的损失函数:带有离散有序标签的回归" 。我得到了一般的想法 - 但是如果我的最后一层是LogM回归的SoftMax(输出概率),我不确定我会理解阈值是多少。

有人可以通过指出这种损失函数的任何实现来帮助我吗?

由于 此致

1 个答案:

答案 0 :(得分:0)

对于pylearn2和caffe,你的标签需要是0-4而不是1-5 ......它只是它们的工作方式。输出层将是5个单元,每个单元基本上是一个逻辑单元......而softmax可以被认为是一个适配器,可以对最终输出进行标准化。但是" softmax"通常用作输出类型。在训练时,任何单个单位的价值很少精确到0.0或1.0 ...它总是在你的单位之间分配 - 可以计算出对数损失。这种损失用于比较完美的"案例和错误被反向支持以更新您的网络权重。请注意,PL2或Caffe的原始输出不是特定的数字0,1,2,3或5 ...它的5个数字,每个数字与5个类别中每个类别的可能性相关联。在分类时,只需将具有最高价值的班级作为“胜利者”。

我试着举个例子...... 说我有一个3级问题,我训练一个3单位softmax的网络。 第一个单元代表第一个类,第二个单元代表第二个,第三个,第三个。

假设我通过测试用例并获得...

0.25,0.5,0.25 ...... 0.5是最高的,因此分类器会说" 2"。这是softmax输出......它确保输出单位的总和为1。