Question

我有这样的输入数据：

x_train = [
    [0,0,0,1,-1,-1,1,0,1,0,...,0,1,-1],
    [-1,0,0,-1,-1,0,1,1,1,...,-1,-1,0]
    ...
    [1,0,0,1,1,0,-1,-1,-1,...,-1,-1,0]
]
y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

它是一个arryas数组，每个数组的大小为83。 y_train是每个数组的标签。所以len(x_train)等于len(y_train)。我使用keras和theano后端来训练这些数据：

def train(x, y, x_test, y_test):
    x_train = np.array(x)
    y_train = np.array(y)
    print x_train.shape
    print y_train.shape
    model = Sequential()
    model.add(Embedding(x_train.shape[0], output_dim=256))
    model.add(LSTM(128))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy',
            optimizer='rmsprop',
            metrics=['accuracy'])
    model.fit(x_train, y_train, batch_size=16)
    score = model.evaluate(x_test, y_test, batch_size=16)
    print score

但我的网络不适合，结果是：

Epoch 1/10
1618/1618 [==============================] - 4s - loss: -1.6630 - acc: 0.0043     
Epoch 2/10
1618/1618 [==============================] - 4s - loss: -2.5033 - acc: 0.0012         
Epoch 3/10
1618/1618 [==============================] - 4s - loss: -2.6150 - acc: 0.0012         
Epoch 4/10
1618/1618 [==============================] - 4s - loss: -2.6297 - acc: 0.0012         
Epoch 5/10
1618/1618 [==============================] - 4s - loss: -2.5731 - acc: 0.0012            
Epoch 6/10
1618/1618 [==============================] - 4s - loss: -2.6042 - acc: 0.0012         
Epoch 7/10
1618/1618 [==============================] - 4s - loss: -2.6257 - acc: 0.0012          
Epoch 8/10
1618/1618 [==============================] - 4s - loss: -2.6303 - acc: 0.0012         
Epoch 9/10
1618/1618 [==============================] - 4s - loss: -2.6296 - acc: 0.0012         
Epoch 10/10
1618/1618 [==============================] - 4s - loss: -2.6298 - acc: 0.0012         
283/283 [==============================] - 0s     
[-2.6199024279631482, 0.26501766742328875]

我想做这个训练并取得好成绩。

Answer 1

负面损失应该会引发巨大的红旗。损失应始终为正数，接近零。你说你的y是

y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

由于您的损失是binary_crossentropy，我必须假设目标是2级分类问题。当您查看y值时，您有-1,0和1.这表示3个类。大问题，你应该只有1和0。您需要更正您的数据。我对数据一无所知，所以我无法将它浓缩为两个类。 -1是负损失的原因。 sigmoid激活基于0-1的CDF，因此您的类必须适合此函数的任何一端。

修改

从下面评论中的描述，我建议一个3类结构。以下是转换为分类值的输出数据示例

from keras.utils import to_categorical y_train = np.random.randint(-1,2,(10)) print(y_train) [-1 0 -1 -1 -1 0 -1 1 1 0] print(to_categorical(y_train,num_classes=3)) [[ 0. 0. 1.] [ 1. 0. 0.] [ 0. 0. 1.] [ 0. 0. 1.] [ 0. 0. 1.] [ 1. 0. 0.] [ 0. 0. 1.] [ 0. 1. 0.] [ 0. 1. 0.] [ 1. 0. 0.]]

现在每个可能的输出都存储在一个单独的列中。您可以看到如何为-1,0和1分配二进制值，即-1 = [0. 0. 1.]，0 = [1. 0. 0.]和1 = [0. 1. 0.]

现在你只需更新损失函数，输出节点数和输出层激活

model.add(Dense(3, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

使用lstm和keras训练模型

1 个答案: