我目前正在安装神经网络来预测从1到10的连续目标。但是，样本在整个数据集中的分布并不均匀：目标范围在1-3的样本代表性不足（仅占大约数据的5％）。但是，它们很受关注，因为目标的低范围属于关键范围。
有没有办法知道我的模型如何特别预测这些低范围样本？我知道在进行多类分类时，我可以检查召回情况，以了解模型在特定类上的性能。对于分类用例，我还可以在Keras中设置类权重参数以解决类不平衡问题，但这显然无法进行回归。
直到现在，我使用MAE，MSE，RMSE等典型指标并获得令人满意的结果。但是，我想知道模型如何处理“关键”样本。
答案 0 :(得分：2)
从我的角度来看，我将比较整个测试步骤的测试度量（分类性能，MSE，RMSE），该测试步骤对应于整个值范围（1-10）。然后，当然，我会在您认为很关键的特定范围内（例如1-3之间）进行比较，并比较两个总体的差异。您甚至可以执行一些统计，以了解这两个总体之间差异的显着性（Wilcoxon检验等）。
此link可能对您的比较有用。由于您可以进行回归，因此您甚至可以比较MSE和RMSE。
答案 1 :(得分：0)
您需要做的是找到这些关键样本的标识符。通常，行索引用于此目的。预测完所有样本后，请使用这些存储的索引在预测中查找关键样本，并对这些过滤后的样本运行任何自动度量。我希望这回答了你的问题。