Question

我正在尝试使用 Keras 执行情感分类。我正在尝试使用基本的神经网络（没有 RNN 或其他更复杂的类型）来做到这一点。但是，当我运行脚本时，我发现训练/评估过程中的准确性没有提高。我猜我错误地设置了输出层，但我不确定。 y_train 是一个列表 [1,2,3,1,2,4,5]（5 个不同的标签），其中包含属于 X_train_seq_padded 中特征的目标。设置如下：

padding_len = 24 # len of each tokenized sentence
neurons = 16 # 2/3 the length of the text that is padded
model = Sequential()
model.add(Dense(neurons, input_dim = padding_len, activation = 'relu', name = 'hidden-1'))
model.add(Dense(neurons, activation = 'relu', name = 'hidden-2'))
model.add(Dense(neurons, activation = 'relu', name = 'hidden-3'))
model.add(Dense(1, activation = 'sigmoid', name = 'output_layer'))

model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics=['accuracy'])

callbacks = [EarlyStopping(monitor = 'accuracy', patience = 5, mode = 'max')]
history = model.fit(X_train_seq_padded, y_train, epochs = 100, batch_size = 64, callbacks = callbacks)

Answer 1

首先，在上面的设置中，如果您在最后一层激活函数中选择 sigmoid（通常用于二元分类或多标签分类），那么损失函数应该是 binary_crossentropy。

但是如果您的标签表示多类并转换为one-hot编码，那么您的最后一层应该是Dense(num_classes, activations='softmax')，损失函数将是categorical_crossentropy。

但是如果你不转换你的multi-class标签而是整数，那么你的最后一层和损失函数应该是

Dense(num_classes)  # with logits 
SparseCategoricalCrossentropy(from_logits= True)

或者，(@Frightera)

Dense(num_classes, activation='softmax') # with probabilities 
SparseCategoricalCrossentropy(from_logits=False)

Keras 准确率没有增加

1 个答案: