Question

只是想知道是否有一种更为方便的数据子集。基本上我有一张带有百万行和数百列的大桌子。我想基于整数col / s对其进行子集化，其值在我定义的范围之间。

我想知道是否将相关列设置为Key它将是二进制搜索但是不确定我是否可以在一系列值之间找到行。

以下举例说明。

> n = 1e7
> dt <- data.table(a=rnorm(n),b=sample(letters,replace=T,n))
> system.time(subset(dt, a > 1 & a < 2))
   user  system elapsed 
  1.596   0.000   1.596
> system.time(dt[a %between% c(1,2)])
   user  system elapsed 
  1.168   0.000   1.168

可以这样做吗？

setkey(dt,a)
dt[  ] : get me the rows between 1 and 2 values of the key

谢谢！ -Abhi

Answer 1

如果你做设置a上的密钥（这需要一些时间（我的机器为n=1e7需要14.7秒），然后你可以使用滚动连接来识别你感兴趣的区域的开始和结束。

# thus the following will work. 
dt[seq.int(dt[.(1),.I,roll=-1]$.I, dt[.(2), .I, roll=1]$.I)]


n = 1e7
dt <- data.table(a=rnorm(n),b=sample(letters,replace=T,n))
system.time(setkey(dt,a))
#  This  does take some time
# user  system elapsed 
# 14.72    0.00   14.73
library(microbenchmark)
f1 <- function() t1 <- dt[floor(a) == 1]
f2 <-  function() t2 <- dt[a >= 1 & a <= 2]
f3 <- function() {t3 <- dt[seq.int(dt[.(1),.I,roll=-1]$.I, dt[.(2), .I, roll=1]$.I)]   }
microbenchmark(f1(),f2(),f3(), times=10)
# Unit: milliseconds
#  expr       min        lq    median        uq       max neval
#  f1() 371.62161 387.81815 394.92153 403.52299 489.61508    10
#  f2() 529.62952 536.23727 544.74470 631.55594 634.92275    10
#  f3()  65.58094  66.34703  67.04747  75.89296  89.10182    10

它现在“快”，但因为我们花了很长时间设置密钥。

添加@ eddi的基准测试方法

 f4 <- function(tolerance = 1e-7){  # adjust according to your needs
  start = dt[J(1 + tolerance), .I[1], roll = -Inf]$V1
  end   = dt[J(2 - tolerance), .I[.N], roll = Inf]$V1
 if (start <= end) dt[start:end]}
 microbenchmark(f1(),f2(),f3(),f4(), times=10)
# Unit: milliseconds
#  expr      min        lq    median        uq       max neval
#  f1() 373.3313 391.07479 440.07025 488.54020 491.48141    10
#  f2() 523.2319 530.11218 533.57844 536.67767 629.53779    10
#  f3()  65.6238  65.71617  66.09967  66.56768  83.27646    10
#  f4()  65.8511  66.26432  66.62096  83.86476  87.01092    10

Eddi的方法稍微安全一些，因为它可以处理浮点容差。

Answer 2

在这里执行setkey代价很高（即使您使用1.8.11中的快速排序），因为它也必须移动数据（通过引用）。

但是，您可以使用floor函数解决此问题。基本上，如果你想要[1,2]中的所有数字（注意：这里包括1和2），那么floor将为所有这些值提供值“1”。也就是说，你可以这样做：

system.time(t1 <- dt[floor(a) == 1])
#   user  system elapsed 
#  0.234   0.001   0.238

这相当于做dt[a >= 1 & a <=2]，速度是原来的两倍。

system.time(t2 <- dt[a >= 1 & a <= 2])
#   user  system elapsed 
#  0.518   0.081   0.601 

identical(t1,t2) # [1] TRUE

但是，由于您不希望相等，因此可以使用hack从列.Machine$double.eps^0.5中减去容差= a。如果该值在[1, 1+tolerance)范围内，那么它仍然被认为是1.如果它只是更多，则它不再是1（内部）。也就是说，它是最小的数字＆gt; 1，机器可以识别为1.因此，如果你通过公差减去'a'，那么内部表示为“1”的所有数字将变为＆lt; 1。 1和floor(.)将导致0.因此，您将获得范围＆gt; 1和＆lt;而是2。也就是说，

dt[floor(a-.Machine$double.eps^0.5)==1]

将提供与dt[a>1 & a<2]相同的结果。

如果您要重复执行此操作，那么可能会使用此floor功能创建一个新列，并在该integer列上设置关键字可能有所帮助：

dt[, fa := as.integer(floor(a-.Machine$double.eps^0.5))]
system.time(setkey(dt, fa)) # v1.8.11
#   user  system elapsed 
#  0.852   0.158   1.043

现在，您可以使用二进制搜索查询所需的任何范围：

> system.time(dt[J(1L)])    # equivalent to > 1 & < 2
#   user  system elapsed 
#  0.071   0.002   0.076 
> system.time(dt[J(1:4)])   # equivalent to > 1 & < 5
#   user  system elapsed 
#  0.082   0.002   0.085

Answer 3

如果您有一个密钥集，那么您的数据就会被排序，所以只需查找端点并获取两者之间的点：

setkey(dt, a)
tolerance = 1e-7  # adjust according to your needs
start = dt[J(1 + tolerance), .I[1], roll = -Inf]$V1
end   = dt[J(2 - tolerance), .I[.N], roll = Inf]$V1
if (start <= end) dt[start:end]

这比Arun的floor方法要慢一些，因为它有2个连接，但从好的方面来说，你可以插入你喜欢的任何数字。

Answer 4

我不是data.table专家，但据我所知，key搜索setkey(dt, b) ; dt['a']如此之快的原因是因为它使用二分搜索而不是矢量扫描。对于子集需要二元运算符的数字列，这是不可能的。

唯一的选择是做一些事情：

dt[,Between:=ifelse(a > 1 & a < 2, 'yes', 'no')]
setkey(dt, Between)
> system.time(dt['yes'])
   user  system elapsed 
   0.04    0.00    0.03

有趣的是，它比以下更快：

Index = dt[,a > 1 & a < 2]
> system.time(dt[Index])
   user  system elapsed 
   0.23    0.00    0.23

但是，既然你可以将一个子集保存为单独的data.table，我认为它没有太多的应用程序。

R：基于整数列的data.table子集

4 个答案: