在训练/测试拆分之前采样不足并且精度非常低

时间:2021-04-02 09:53:27

标签: python-3.x classification text-classification imbalanced-data

我正在处理高度不平衡的数据集,其中包括大约 32,000 类(0 类)和 1,300 类(1 类)。单个输入特征是文本(例如酒店评论)。经过预处理步骤将文本转换为向量后,维度长度变为 1,000 左右(使用 tf-idf)。
运行分类后,问题是我的精度太低 (15%) 而召回 (80%) 似乎很好。
我尝试了许多不同的策略来克服这个问题,通过应用欠采样,尝试不同的分类算法(logistic,XGBoost,Light GBM,...),改变决策函数阈值,绘制精确召回曲线以找到最佳点(发现精度在recall的变化中变化不大)。


我的问题是有没有办法提高我的精度? 作为ML的初学者,精度这么低的原因似乎是测试集也是不平衡的,所以很难获得更高的精度。我也尝试对测试集进行欠采样,但发现这不是我的做法。减少维度(例如 PCA)会解决这个问题吗?或者还有其他方法可以尝试吗?请帮忙...

0 个答案:

没有答案
相关问题