关于data.table 1.9.2中的GForce

时间:2014-03-03 02:20:41

标签: r data.table

我不知道如何在data.table 1.9.2

中充分利用GForce
  

新优化:GForce。不是将数据分组,而是将组位置传递到sum和mean(gsum和gmean)的分组版本,然后计算单个顺序传递列中所有组的结果以获得缓存效率。此外,由于g *函数只被调用一次,我们不需要找到加速调用sum的方法或重复每个组的平均值。 `

提交以下代码时

DT <- data.table(A=c(NA,NA,1:3), B=c("a",NA,letters[1:3]))
DT[,sum(A,na.rm=TRUE),by= B]

我得到了这个

    B V1
1:  a  1
2: NA  0
3:  b  2
4:  c  3

在尝试DT[,sum(A,na.rm=FALSE),by= B]时,我得到了

    B  V1
1:  a  NA
2:  NA NA
3:  b  2
4:  c  3

这个结果是否解释了GForce的作用,添加na.rm = TRUE/FALSE选项?

非常感谢!

1 个答案:

答案 0 :(得分:28)

这与na.rm无关。你展示的内容也很好。但是,我明白为什么你可能会想到这一点。以下是同一个新闻项目的其余部分:

Examples where GForce applies now :
    DT[,sum(x,na.rm=),by=...]                       # yes
    DT[,list(sum(x,na.rm=),mean(y,na.rm=)),by=...]  # yes
    DT[,lapply(.SD,sum,na.rm=),by=...]              # yes
    DT[,list(sum(x),min(y)),by=...]                 # no. gmin not yet available
GForce is a level 2 optimization. To turn it off: options(datatable.optimize=1)
Reminder: to see the optimizations and other info, set verbose=TRUE

您无需做任何有益的事情,这是一种自动优化。

以下是5亿行4列(13GB)的示例。首先创建并说明数据:

$ R
R version 3.0.2 (2013-09-25) -- "Frisbee Sailing"
Copyright (C) 2013 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

> require(data.table)
Loading required package: data.table
data.table 1.9.2  For help type: help("data.table")

> DT = data.table( grp = sample(1e6,5e8,replace=TRUE), 
                   a = rnorm(1e6),
                   b = rnorm(1e6),
                   c = rnorm(1e6))
> tables()
     NAME        NROW    MB COLS      KEY
[1,] DT   500,000,000 13352 grp,a,b,c    
Total: 13,352MB
> print(DT)
          grp          a            b          c
1e+00: 695059 -1.4055192  1.587540028  1.7104991
2e+00: 915263 -0.8239298 -0.513575696 -0.3429516
3e+00: 139937 -0.2202024  0.971816721  1.0597421
4e+00: 651525  1.0026858 -1.157824780  0.3100616
5e+00: 438180  1.1074729 -2.513939427  0.8357155
   ---                                          
5e+08: 705823 -1.4773420  0.004369457 -0.2867529
5e+08: 716694 -0.6826147 -0.357086020 -0.4044164
5e+08: 217509  0.4939808 -0.012797093 -1.1084564
5e+08: 501760  1.7081212 -1.772721799 -0.7119432
5e+08: 765653 -1.1141456 -1.569578263  0.4947304

现在开始使用GForce优化(默认)。请注意,此处首先没有setkey。这就是所谓的 ad hoc by ,当您想要以多种不同的方式进行分组时这是常见的做法。

> system.time(ans1 <- DT[, lapply(.SD,sum), by=grp])
   user  system elapsed 
 47.520   5.651  53.173 
> system.time(ans1 <- DT[, lapply(.SD,sum), by=grp])
   user  system elapsed 
 47.372   5.676  53.049      # immediate repeat to confirm timing

现在关闭GForce优化(根据NEWS项目)以查看其产生的差异:

> options(datatable.optimize=1)

> system.time(ans2 <- DT[, lapply(.SD,sum), by=grp])
   user  system elapsed 
 97.274   3.383 100.659 
> system.time(ans2 <- DT[, lapply(.SD,sum), by=grp])
   user  system elapsed 
 97.199   3.423 100.624      # immediate repeat to confirm timing

最后,确认结果是一样的:

> identical(ans1,ans2)
[1] TRUE
> print(ans1)
            grp          a          b          c
      1: 695059  16.791281  13.269647 -10.663118
      2: 915263  43.312584 -33.587933   4.490842
      3: 139937   3.967393 -10.386636  -3.766019
      4: 651525  -4.152362   9.339594   7.740136
      5: 438180   4.725874  26.328877   9.063309
     ---                                        
 999996: 372601  -2.087248 -19.936420  21.172860
 999997:  13912  18.414226  -1.744378  -7.951381
 999998: 150074  -4.031619   8.433173 -22.041731
 999999: 385718  11.527876   6.807802   7.405016
1000000: 906246 -13.857315 -23.702011   6.605254

请注意,data.table会根据群组首次出现的时间保留群组的顺序。要订购分组结果,请使用keyby=代替by=

重新启用GForce优化(默认为Inf以从所有优化中受益):

> options(datatable.optimize=Inf)

除此之外:如果您不熟悉lapply(.SD,...)语法,那么它只是一种逐列应用函数的方法。例如,这两行是等价的:

 DT[, lapply(.SD,sum), by=grp]               # (1)
 DT[, list(sum(a),sum(b),sum(c)), by=grp]    # (2) exactly the same

第一个(1)更有用,因为你有更多的列,特别是与.SDcols结合使用来控制应用函数的列子列。

NEWS项目只是试图表明无论使用哪种语法都无关紧要,或者您是否通过了na.rm,GForce优化仍然会被应用。它说你可以在一次调用中混合sum()mean()(语法(2)允许),但是只要你做其他事情(比如min()),那么GForce就赢了“自min尚未完成以来没有开始;目前只有meansum才有GForce优化。您可以使用verbose=TRUE查看是否正在应用GForce。

用于此时间的机器的详细信息:

$ lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                8
On-line CPU(s) list:   0-7
Thread(s) per core:    8
Core(s) per socket:    1
Socket(s):             1
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 62
Stepping:              4
CPU MHz:               2494.022
BogoMIPS:              4988.04
Hypervisor vendor:     Xen
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              25600K
NUMA node0 CPU(s):     0-7