Question

我有一个包含因子变量，数值变量和目标列的大型数据集，我试图正确地输入xgboost，目的是制作xgb.Matrix并训练模型。

我对将数据帧放入xgb.DMatrix对象的正确处理感到困惑。具体来说，我在因子和数值变量中都有NA，我想在创建xgb.Matrix之前从我的数据帧中创建一个sparse.model.matrix。对NA的正确处理确实搞砸了我。

我有以下示例数据帧df，包含一个二进制分类变量，两个连续变量和一个目标。分类变量和一个连续变量具有NAs

'data.frame':   10 obs. of  4 variables:
 $ v1    : Factor w/ 2 levels "0","1": 1 2 2 1 NA 2 1 1 NA 2
 $ v2    : num  3.2 5.4 8.3 NA 7.1 8.2 9.4 NA 9.9 4.2
 $ v3    : num  22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
 $ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

     v1  v2   v3 target
1     0 3.2 22.1      0
2     1 5.4 44.1      0
3     1 8.3 57.0      1
4     0  NA 64.2      1
5  <NA> 7.1 33.1      0
6     1 8.2 56.9      0
7     0 9.4 71.2      0
8     0  NA 33.9      1
9  <NA> 9.9 89.3      0
10    1 4.2 97.2      0

来自sparse.model.matrix库的

matrix无法接受NAs。它消除了行（我不想要的）。因此，我需要将NAs更改为-999

等数字替换

如果我使用简单的命令：

df[is.na(df)] = -999

它只替换数字列中的NA：

     v1     v2   v3 target
1     0    3.2 22.1      0
2     1    5.4 44.1      0
3     1    8.3 57.0      1
4     0 -999.0 64.2      1
5  <NA>    7.1 33.1      0
6     1    8.2 56.9      0
7     0    9.4 71.2      0
8     0 -999.0 33.9      1
9  <NA>    9.9 89.3      0
10    1    4.2 97.2      0

所以我首先（想想我）需要将因子变量更改为数字然后再做替代。这样做我得到了：

     v1     v2   v3 target
1     1    3.2 22.1      0
2     2    5.4 44.1      0
3     2    8.3 57.0      1
4     1 -999.0 64.2      1
5  -999    7.1 33.1      0
6     2    8.2 56.9      0
7     1    9.4 71.2      0
8     1 -999.0 33.9      1
9  -999    9.9 89.3      0
10    2    4.2 97.2      0

但将因子变量转换回因子（我认为这是必要的所以xgboost后来会知道它的一个因素）我得到三个级别：

data.frame':    10 obs. of  4 variables:
 $ v1    : Factor w/ 3 levels "-999","1","2": 2 3 3 2 1 3 2 2 1 3
 $ v2    : num  3.2 5.4 8.3 -999 7.1 8.2 9.4 -999 9.9 4.2
 $ v3    : num  22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
 $ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

我现在最终还不确定是否制作了sparse.model.matrix xgb.matrix对象将是有意义的，因为v1显得混乱。

为了让事情更加混乱，xgb.Dmatrix()有一个参数missing 我可以用来识别代表NA的数值（-999）。但是这个只能用于密集矩阵。如果我提交密集矩阵我就会只是有NAs并且不需要它。但是，在稀疏矩阵中我有-999s的地方，我无法使用它。

我希望我不会忽视一些简单的事情。广泛浏览了xgboost.pdf并查看了Google。

请帮忙。提前谢谢。

Answer 1

@mtoto提到的

options(na.action='na.pass')是解决此问题的最佳方法。它将确保您在构建模型矩阵时不会丢失任何数据。

特别是XGBoost实现;在NA的情况下，在生长树时进行分割时检查更高的增益。因此，例如，如果不考虑NA的分裂被确定为变量var1（范围[0,1]）值0.5，则其计算考虑var1 NAs的增益<1。 0.5和＆gt; 0.5。对于任何分裂方向，它获得更多的增益，它使NA具有该分裂方向。因此，NAs现在具有范围[0,0.5]或[0.5,1]，但没有分配给它的实际值（即估算）。请参阅（原作者tqchen＆＃39; s comment于2014年8月12日）。

如果您在那里输入-99xxx，那么您将限制算法能够学习NA的正确范围（以标签为条件）。

使用NAs为稀疏矩阵和XGBOOST准备数据

1 个答案: