Question

我有一个数据框df，其中包含2018年每小时通过伦敦地铁站的流量：

        Year    Month Day  Hour    Station.ID    Traffic
1       2018    1     1    0       A             1000
2       2018    1     1    0       B             1300
3       2018    1     1    0       C             956
4       2018    1     1    0       D             721
...

它超过7,000,000行。我想要一种有效的方法来查找特定日期和时间的流量。例如，如果我想知道2018年4月5日上午10点在“ X”站的交通，我目前将执行：

df[df$Year==2018 & df$Month==5 & df$Day==4 & df$Hour==10 & df$Station.ID=='X',]$Traffic

但是此方法将不必要地浏览整个数据帧。我的想法是将数据组织成这样的层次结构：

library(data.tree)
df$pathString <- paste("MyTree", 
                        df$Year, 
                        df$Month,
                        df$Day,
                        df$Hour,
                        df$Station.ID,
                        sep = "/")
dftree <- as.Node(df)

我之前的请求现在类似于：

dftree$'2018'$'5'$'4'$'10'$X$Traffic

，这将加快几个数量级。我的问题是，实际上首先将df组织成一棵树会花费太长时间！如果我采用1000行的子集，则需要花费几分钟。所有700万行记录都消失不见了。

我的问题：

1）按日期组织数据时，最适合用于快速查找的数据结构是什么？

2）df是否太大，以至于该结构不合适？

Answer 1

一个data.table。

使用flights数据集，像您这样的查询大约需要半秒钟：

library(data.table)
library(nycflights13)
flights <- as.data.table(flights)
flights7M <- rbindlist(lapply(1:22, function(x) flights))

nrow(flights7M) / 7e6  # close enough
#> [1] 1.058439

bench::system_time({
  setkey(flights7M, year, month, day, hour, origin)
  flights7M[.(2013L, 5L, 4L, 10L, "JFK")]
})
#> process    real 
#>    1.8s 587.4ms

^{由reprex package（v0.2.0）于2018-07-02创建。}

R中按日期有效查找的最佳数据结构

1 个答案: