我正在使用NN模型进行需求预测,我很好奇是否有人知道模型本身对于什么样的准确度是合理的。在我所在的行业中,我们能够很好地预测错误(5-10%),而我目前的模型准确率为86%。我不是NN建模方面的专家,但我的直觉告诉我,模型验证中14%的错误并不一定对应于平均14%的预测错误。如果有人对这些有经验,那么可达到/合理的准确度是多少?
答案 0 :(得分:0)
这完全取决于问题。我们不知道您的问题是什么,更不用说数据质量,数量,熟悉现代Rapid Miner的NN设施,验证/测试集构建以及其他潜在问题。
我的直觉告诉我,模型验证中14%的错误并不一定与平均14%的预测误差相对应。
如果通过预测意味着实际/部署错误:通常,您绝不应该期望验证错误低于您的真实错误。验证最多是对您的真实概括的准确估计,最坏的情况是由于某些共同偏差导致的高估。