如何向高管证明预测模型的可靠性?

时间:2016-06-24 17:35:30

标签: machine-learning data-modeling modeling prediction training-data

我训练了来自500个设备的数据来预测他们的表现。然后我将我训练过的模型应用到另外500个设备的测试数据集中,并显示出非常好的预测结果。现在我的管理人员希望我证明这个模型在100万台设备上运行良好,而不仅仅是500台。显然我们没有100万台设备的数据。如果模型不可靠,他们希望我发现所需的列车数据量,以便对100万台设备进行可靠的预测。我应该如何处理那些没有统计分析和建模背景的高管?有什么建议?感谢

1 个答案:

答案 0 :(得分:3)

我建议@cep将他的评论作为答案写出来 - 包括提供variancebias计算。在任何情况下都可以添加

  

“不要急于假设执行官基本上无能为力   技术或数学概念“

虽然那里可能有Dilbert位管理员.. 某处我自己也见过很少。更多时候,经理通过努力工作来达到自己的位置。他们可能会生锈 - 但这些能力可能仍然存在。

在这种情况下,无论他们是否具有“统计分析和建模背景”,他们都应用常识。

您可能要做的第一件事是提供适当的上下文和术语。 @cel已经提到了一些:提供具体的值:

  • 假设
    • 您对数据做出了哪些假设。
    • 考虑推断有限数据的基础是什么
    • 为什么应该说出推断的结果可以应用于99.5%的未经测试的数据
  • 数据分发
    • 基本描述性统计
    • 您对先前分发数据的看法。证明你选择它的原因
  • 建模
    • 考虑了哪些模型/方法以及为什么
    • 您实际选择的模型以及原因
    • 你是如何达到超参数的?
    • 你是如何训练模型的
  • 结果
    • 拟合和错误率的统计度量