Question

我正在做R中的经典拆分应用重组。我的数据集随着时间的推移是一堆公司。我正在进行的应用是为每家公司运行回归并返回残差，因此，我不是按公司汇总。 plyr对此非常有用，但是当公司数量很大时，需要很长时间才能运行。有没有办法用data.table？

执行此操作

示例数据：

dte, id, val1, val2
2001-10-02, 1, 10, 25
2001-10-03, 1, 11, 24
2001-10-04, 1, 12, 23
2001-10-02, 2, 13, 22
2001-10-03, 2, 14, 21

我需要按每个id（即1和2）进行拆分。运行回归，返回残差并将其作为列添加到我的数据中。有没有办法使用data.table？

执行此操作

Answer 1

对于v1.8.0（目前在CRAN上），DWin的答案是正确的。但是在v1.8.1（在R-Forge存储库中），:=现在可以按组工作。它也适用于非连续组，因此不需要setkey首先排队。

dtb <- as.data.table(dat)
dtb
           dte id val1 val2
1:  2001-10-02  1   10   25
2:  2001-10-03  1   11   24
3:  2001-10-04  1   12   23
4:  2001-10-02  2   13   22
5:  2001-10-03  2   14   21
dtb[, resid:=residuals(lm(val1 ~ val2)), by=id]
           dte id val1 val2         resid
1:  2001-10-02  1   10   25  1.631688e-15
2:  2001-10-03  1   11   24 -3.263376e-15
3:  2001-10-04  1   12   23  1.631688e-15
4:  2001-10-02  2   13   22  0.000000e+00
5:  2001-10-03  2   14   21  0.000000e+00

要升级到v1.8.1，只需从R-Forge repo安装即可。（从R-Forge安装任何二进制包时需要R 2.15.0+）：

install.packages("data.table", repos="http://R-Forge.R-project.org")

如果无法升级到最新的R，请从源代码安装。data.table本身只需要R 2.12.0 +。

扩展到1MM案例：

DT = data.table(dte=Sys.Date()+1:1000000, 
                id=sample(1:2, 1000000, repl=TRUE),
                val1=runif(1000000),  val2=runif(1000000) )
setkey(DT, id)
system.time(ans1 <- cbind(DT, DT[, residuals(lm(val1 ~ val2)), by="id"]) )
   user  system elapsed 
 12.272   0.872  13.182 
ans1
                dte id      val1       val2 id           V1
      1: 2012-07-02  1 0.8369147 0.57553383  1  0.336647598
      2: 2012-07-05  1 0.0109102 0.02532214  1 -0.488633325
      3: 2012-07-06  1 0.4977762 0.16607786  1 -0.001952414
     ---                                                   
 999998: 4750-05-27  2 0.1296722 0.62645838  2 -0.370627034
 999999: 4750-05-28  2 0.2686352 0.04890710  2 -0.231952238
1000000: 4750-05-29  2 0.9981029 0.91626787  2  0.497948275

system.time(DT[, resid:=residuals(lm(val1 ~ val2)), by=id])
   user  system elapsed 
  7.436   0.648   8.107 
DT
                dte id      val1       val2        resid
      1: 2012-07-02  1 0.8369147 0.57553383  0.336647598
      2: 2012-07-05  1 0.0109102 0.02532214 -0.488633325
      3: 2012-07-06  1 0.4977762 0.16607786 -0.001952414
     ---                                                
 999998: 4750-05-27  2 0.1296722 0.62645838 -0.370627034
 999999: 4750-05-28  2 0.2686352 0.04890710 -0.231952238
1000000: 4750-05-29  2 0.9981029 0.91626787  0.497948275

上面的例子只有2组，在40MB以下非常小，Rprof显示96％的时间用在lm。因此，在这些情况下，:=分组不是为了速度优势，而是为了方便;即，写入所需的代码较少，并且没有多余的列添加到输出中。随着尺寸的增长，避免副本进入其中并且速度优势开始显现。特别是，随着群组数量的增加，transform中的j将会非常缓慢。

Answer 2

我猜这需要按“id”排序才能正确排列。幸运的是，当您设置密钥时会自动发生：

dat <-read.table(text="dte, id, val1, val2
 2001-10-02, 1, 10, 25
 2001-10-03, 1, 11, 24
 2001-10-04, 1, 12, 23
 2001-10-02, 2, 13, 22
 2001-10-03, 2, 14, 21
 ", header=TRUE, sep=",")
 dtb <- data.table(dat)
 setkey(dtb, "id")
 dtb[, residuals(lm(val1 ~ val2)), by="id"]
#---------------
cbind(dtb, dtb[, residuals(lm(val1 ~ val2)), by="id"])
#---------------
            dte id val1 val2 id.1            V1
[1,] 2001-10-02  1   10   25    1  1.631688e-15
[2,] 2001-10-03  1   11   24    1 -3.263376e-15
[3,] 2001-10-04  1   12   23    1  1.631688e-15
[4,] 2001-10-02  2   13   22    2  0.000000e+00
[5,] 2001-10-03  2   14   21    2  0.000000e+00



> dat <- data.frame(dte=Sys.Date()+1:1000000, 
                    id=sample(1:2, 1000000, repl=TRUE),  
                    val1=runif(1000000),  val2=runif(1000000) )
> dtb <- data.table(dat)
> setkey(dtb, "id")
> system.time(  cbind(dtb, dtb[, residuals(lm(val1 ~ val2)), by="id"]) )
   user  system elapsed 
  1.696   0.798   2.466 
> system.time( dtb[,transform(.SD,r = residuals(lm(val1~val2))),by = "id"] )
   user  system elapsed 
  1.757   0.908   2.690

来自Matthew的编辑：对于CRAN上的v1.8.0，这一切都是正确的。 transform j transform() cbind()成为data.table wiki第2点的主题：“对于速度不是:=按群组，install.packages("data.table", repos= "http://R-Forge.R-project.org", type="source", lib="/Library/Frameworks/R.framework/Versions/2.14/Resources/lib")之后”。但是，{{1}}现在在v1.8.1中按组运行，既简单又快速。请参阅我的答案以进行说明（但无需投票）。

好吧，我投了赞成票。这是在Mac上安装v 1.8.1的控制台命令（如果你有适当的XCode工具，因为它只在源中）：

{{1}}

（出于某种原因，我无法让Mac GUI包安装程序将r-forge作为存储库读取。）

split在R中应用重组，plyr，data.table

2 个答案: