我正在做自学,学习将深度学习用于文本分类。 我使用Bi-LSTM模型,尝试以10个时间段更改参数以比较结果。
数据集包含大约35k行,总共有1200k标记词。该数据集标记有2个类别。调整参数后,我进行了10倍分层交叉验证,有8种情况给出了正常结果,但是这2种情况发生了。
-拳头结果: 看来该模型无法提高准确性。可能是什么原因造成的?
-第二个结果: 这可能比第一个更糟,在这种情况下,这与网络的权重更新有关吗?
如果我不愿意纠正我。 我对深度学习技术比较陌生,不熟悉某些技术术语,所以请使用错误的单词对不起。 预先感谢。
答案 0 :(得分:2)
好的,所以您有足够的数据来训练模型,所以我想模型结构可能会变成这样,请尝试如下所示的模型结构,并确定是否可行:
input = Input layer
model = Embedding layer
model = Bidirectional layer
model = TimeDistributed
model = Flatten
model = Dense(100,activation='relu')(model)
output = Dense(3,activation='softmax')(model)
model = Model(input,output)
然后尝试使用Adam优化器编译模型,并在输出处使用softmax激活,我猜想如果以前不使用它会产生巨大的影响