Question

阅读?IDate在我的大数据表中将我的角色变量转换为整数日期似乎是个好主意。谁不想快速排序和分组？

IDate帮助清楚地提到功能仍然是实验性的，所以我的问题是反馈而不是投诉。

为什么计算整数日期（IDate）类变量的时间差比其他日期类变量或整数花费的时间长得多？

# Example data
require(data.table)
n <- 1e7
dt <- data.table(x1 = sample(1000:2000, n, replace=TRUE),
                 x2 = sample(1000:2000, n, replace=TRUE))

# Add date variables.
dt[, date1 := as.Date(x1, origin="1990-01-01")]
dt[, date2 := as.Date(x2, origin="1990-01-01")]

# Add integer-dates.
dt[, idate1 := as.IDate(date1)]
dt[, idate2 := as.IDate(date2)]

# Add POSIXct dates.
dt[, posix1 := as.POSIXct(date1)]
dt[, posix2 := as.POSIXct(date2)][]

# Check variable classes.
sapply(dt[, list(x1, date1, idate1, posix1)], class)

给出

$x1
[1] "integer"

$date1
[1] "Date"

$idate1
[1] "IDate" "Date" 

$posix1
[1] "POSIXct" "POSIXt"

一切都很好。

现在让我们看看为每个班级计算差异需要多长时间。

# Compute date diffs.
system.time(dt[, x.diff := x1 - x2])
user  system elapsed 
0.07    0.00    0.06

system.time(dt[, date.diff := date1 - date2])
user  system elapsed 
0.39    0.13    0.51

system.time(dt[, idate.diff := idate1 - idate2])
user  system elapsed 
6.21    0.67    6.91 

system.time(dt[, posix.diff := posix1 - posix2]) # diff in seconds
user  system elapsed 
0.20    0.09    0.30

IDate类至少比其余类慢10个，令人惊讶，因为它应该存储为整数？

# Check results are identical.
identical(dt[, date1], dt[, idate1])
[1] TRUE

日期和IDate结果相同。发生了什么事？

Answer 1

我不知道原因，但您可以通过将IDate转换为整数来“修复”它。我也不知道为什么要修复它。我知道这不是一个答案，但更像是一个后续观察：

> system.time(dt[, idate.diff := idate1 - idate2])
   user  system elapsed 
   4.78    0.44    5.25 
> head(dt$idate.diff)
Time differences in days
[1] -620 -491  634  151  110 -338
> system.time(dt[, idate.int.diff := as.integer(idate1) - as.integer(idate2)])
   user  system elapsed 
   0.06    0.01    0.08 
> head(dt$idate.int.diff)
[1] -620 -491  634  151  110 -338

使用data.table ID在R中的Difftime变慢

1 个答案: