(如果这里的某些术语已经关闭,我会道歉 - 我来自SQL背景,而我只是进入R世界)
我有一个包含一系列按日期排序的条目的数据表。数据表中的一个字段是分组值,一个是时间值。 由于数据已订购(或键入 - 我是R的新手并且仍然不确定差异),因此日期,我想计算,对于每一行,该组中的多行如何在当前行之前(包括在给定的时间范围内。
以下是我正在尝试使用Loblolly数据集的简化示例:
准备示例数据:
library(lubridate)
library(zoo)
library(data.table)
DT = as.data.table(Loblolly)
DT[,rd := Sys.time() + years(age)]
setkey(DT,Seed,rd)
现在我们有一个按种子(组)和rd(我的日期列)排序的数据表。我有一个解决方案,它将根据10年的间隔产生我的计数值(ct):
DT[,.ct:=mapply(function(x,y) DT[(rd>x-years(10) & rd<=x &Seed==y),.N],DT$rd,DT$Seed)]
这会在此示例数据集中生成所需的结果:
height age Seed rd ct
1: 3.93 3 329 2019-03-01 13:38:00 1
2: 9.34 5 329 2021-03-01 13:38:00 2
3: 26.08 10 329 2026-03-01 13:38:00 3
4: 37.79 15 329 2031-03-01 13:38:00 2
5: 48.31 20 329 2036-03-01 13:38:00 2
6: 56.43 25 329 2041-03-01 13:38:00 2
7: 4.12 3 327 2019-03-01 13:38:00 1
8: 9.92 5 327 2021-03-01 13:38:00 2
9: 26.54 10 327 2026-03-01 13:38:00 3
10: 37.82 15 327 2031-03-01 13:38:00 2
...
...
但是,我需要将其扩展到大约500万条记录,大约10,000个组,并且在那里运行需要不可思议的长时间。有没有更快,更笨拙的方法来做我想做的事情?
答案 0 :(得分:5)
这是使用data.table::foverlaps
的可能解决方案。这里的想法是首先加入{Sys.time() - years(10), Sys.time() + years(age)}
的整个范围。然后,仅计算差异小于= 10年的实例。
DT <- as.data.table(Loblolly)
DT[, c("rd", "rd2") := Sys.time() + years(age)] # create identical columns so foverlaps will work
setkey(DT, Seed, rd, rd2) # key by all for same reason
DT2 <- DT[, .(Seed, rd = rd - years(10), rd2, indx = .I)] # create minum range, create index to store row number
DT[, ct := foverlaps(DT, DT2)[i.rd > rd, .N, by = indx]$N] # run foverlaps, subset by condition and count
head(DT, 10)
# height age Seed rd rd2 ct
# 1: 3.93 3 329 2019-03-01 22:59:02 2019-03-01 22:59:02 1
# 2: 9.34 5 329 2021-03-01 22:59:02 2021-03-01 22:59:02 2
# 3: 26.08 10 329 2026-03-01 22:59:02 2026-03-01 22:59:02 3
# 4: 37.79 15 329 2031-03-01 22:59:02 2031-03-01 22:59:02 2
# 5: 48.31 20 329 2036-03-01 22:59:02 2036-03-01 22:59:02 2
# 6: 56.43 25 329 2041-03-01 22:59:02 2041-03-01 22:59:02 2
# 7: 4.12 3 327 2019-03-01 22:59:02 2019-03-01 22:59:02 1
# 8: 9.92 5 327 2021-03-01 22:59:02 2021-03-01 22:59:02 2
# 9: 26.54 10 327 2026-03-01 22:59:02 2026-03-01 22:59:02 3
# 10: 37.82 15 327 2031-03-01 22:59:02 2031-03-01 22:59:02 2
编辑17/3/2017:
使用data.table v1.10.4 +,您现在可以使用非uqui联接与by = .EACHI
结合使用。这基本上允许您使用>=
和<=
加入,而不仅仅是精确连接,还可以在加入时运行计算(为了避免像您的情况那样的笛卡尔连接)并返回最终结果。所以在你的具体情况下你可以做到
DT[, rd10 := rd - years(10)]
DT[, ct := DT[DT, .N, on = .(Seed, rd <= rd, rd > rd10), by = .EACHI]$N]