我的数据集由大约10^6个条目组成。但问题是数据是Imbalance。
我使用Adboost创建线性分类器。但由于数据不平衡，我的准确性非常差。如何处理不平衡数据。我正在使用Graphlab。
以下是平衡数据的简单代码：
safe_loans_raw = loans[loans[target] == 1]
risky_loans_raw = loans[loans[target] == -1]
# Undersample the safe loans.
percentage = len(risky_loans_raw)/float(len(safe_loans_raw))
safe_loans = safe_loans_raw.sample(percentage, seed = 1)
risky_loans = risky_loans_raw
loans_data = risky_loans.append(safe_loans)
但准确性仍未得到批准，任何人都可以为此提供有效的方法吗？
答案 0 :(得分：1)
处理不平衡数据是数据挖掘和机器学习领域中最具挑战性的领域之一。因此，您无法立即找到简单直接的答案。
根据我使用惩罚（或加权）评估指标的经验是最好的方法之一（短期答案），但是（总是有一个但是！），您可以参考以下资源来找到有效的方法。你的问题更多的是科学问题，而不是工具的问题。
This应该处理这种情况，但在使用之前请确保您知道背景。
答案 1 :(得分：1)
您是如何得出结论，由于数据不平衡，准确性差？因为根据您提供的代码，loans_data应该有平衡数据（50％风险贷款和50％安全贷款）。创建loans_data进行确认后，请检查风险贷款和安全贷款的数量。
精度差可能是因为您选择了用于训练模型或数据本身的功能。
答案 2 :(得分：0)
您还可以在增强树中使用参数x<-5，这会在一定程度上处理不平衡数据。有关详细信息，请查看以下内容：default paramters