什么时候预测建模的事件太罕见了？

Question

背景

我为公司建立了投诉管理系统。它工作正常。我有兴趣使用它包含的数据来对投诉进行预测建模。我们有约40,000名客户，其中约有400人抱怨。

问题

我想使用我们的投诉数据来模拟任何给定客户抱怨的概率。我担心的是，给每个客户抱怨概率为0.000的模型已经准确到99％，因此很难改进。是否有可能建立一个有用的预测模型，我试图用如此少的数据来预测这种罕见事件？

Answer 1

这就是为什么有其他措施而不仅仅是准确性。

在这里，召回可能就是您感兴趣的内容。为了平衡precision and recall，F1是一种兼顾两者的流行混合物。

但总的来说，避免尝试将事情分解为单个数字。

这是一维结果，而且过于简化。在实践中，您需要详细研究错误，以避免发生系统错误。