我使用我拥有的数据集为基于LSTM的文本生成器建模。该模型的目的是预测句子的结尾。我的培训显示出约81%的验证准确性。在阅读几篇文章时,我发现与分类问题不同,我应该更加担心损失而不是准确性。是这种情况,如果是,理想的损失值是多少?现在我的损失大约是1.5 +。
答案 0 :(得分:2)
在任何机器学习或深度学习问题中,准确性都没有下限。垃圾输入,垃圾输出
数据质量高且模型合适,将为您提供良好的准确性。
通常,这些准确性基准是为SQUAD,RACE,SWAG,GLUE等开放式互联网上可用的标准数据集设置的。
通常,最先进的模型将检查它们在这些数据集上的性能,并为这些数据集设置准确的基准。
谈到您的问题,您可以判断模型是基于准确性来执行goog的,而您正在使用的评估指标通常在NLP中用于计算损失有点棘手。考虑到您试图预测没有固定维数的句子结尾的情况,原因是相同的信息可以用不同的单词数以多种方式表示。
通过查看模型的验证和测试准确性,它看起来不错,但是在提高准确性之前,您还应该担心过度拟合的问题,不应使模型对数据有偏见。
您可以尝试使用不同的指标来评估模型,并且可以自己比较结果。
我希望这能回答您的问题,快乐学习!