基于LSTM的文本生成器的理想验证精度应该是多少?

时间:2019-12-06 07:02:16

标签: python tensorflow keras lstm

我使用我拥有的数据集为基于LSTM的文本生成器建模。该模型的目的是预测句子的结尾。我的培训显示出约81%的验证准确性。在阅读几篇文章时,我发现与分类问题不同,我应该更加担心损失而不是准确性。是这种情况,如果是,理想的损失值是多少?现在我的损失大约是1.5 +。

1 个答案:

答案 0 :(得分:2)

在任何机器学习或深度学习问题中,准确性都没有下限。垃圾输入,垃圾输出
数据质量高且模型合适,将为您提供良好的准确性。

通常,这些准确性基准是为SQUADRACESWAGGLUE等开放式互联网上可用的标准数据集设置的。
通常,最先进的模型将检查它们在这些数据集上的性能,并为这些数据集设置准确的基准。

谈到您的问题,您可以判断模型是基于准确性来执行goog的,而您正在使用的评估指标通常在NLP中用于计算损失有点棘手。考虑到您试图预测没有固定维数的句子结尾的情况,原因是相同的信息可以用不同的单词数以多种方式表示。

通过查看模型的验证和测试准确性,它看起来不错,但是在提高准确性之前,您还应该担心过度拟合的问题,不应使模型对数据有偏见。

您可以尝试使用不同的指标来评估模型,并且可以自己比较结果。

我希望这能回答您的问题,快乐学习!