Question

我有一个R数据集的飞行数据。我需要向此数据集添加365列，每年为一个日期，如果条目的data[i]$FlightDate对应于该年份的日期，则值为1，否则为0 {（{ 3}}）。

之前我曾设法使用lubridate

从FlightDate字符串中提取Year

data$DayOfYear <- yday(ymd(data$FlightDate))

我将如何生成每个365列，并仅保留这些列（以及其他一些列）以用于未来的SVD？我实际上需要在当天的几个小时内重复相同的操作（我可能会分成30或10分钟的范围），因此必须在以后添加额外的48-120个单热列用于不同的变量。

注意：我的数据集每月包含大约500,000个航班（因此，如果我只需要一年的数据，那么大约一天的16k个航班，如果我只需要一年的数据），并且有100个变量（列）

示例输入数据行data[1,]：

{
  DayOfYear: 10, 
  FieldGoodForSvd1 : 235
  FieldBadForSvd2 : "some string"
  ...
}

示例输出数据行（生成365个二进制列并选择与SVD兼容的字段后）

{
  DayOfYear1: 0,
  ... 
  DayOfYear9: 0, 
  DayOfYear10: 1, // The flight had taken place on that DayOfYear
  DayOfYear11: 0, 
  ...
  DayOfYear365: 0, 
  FieldGoodForSvd1 : 235
}

修改

假设我的输入数据矩阵看起来像

DayOfYear ; FieldGoodForSvd1 ; FieldBadForSvd2

1         ; 275              ; "los angeles"
1         ; 256              ; "san francisco"
5         ; 15               ; "chicago"

最终输出应为

FieldGoodForSvd1 ; DayOfYear1 ; DayOfYear2 ; ... ; DayOfYear4 ; DayOfYear5 ; DayOfYear6 ; ... ; DayOfYear365

275              ;    1       ;      0     ; ... ; 0           ; 0         ; 0          ; ... ; 0
256              ;    1       ;      0     ; ... ; 0           ; 0         ; 0          ; ... ; 0
5                ;    0       ;      0     ; ... ; 0           ; 1         ; 0          ; ... ; 0

Answer 1

这是我的最终代码，它为DayOfYear和TimeSlot执行一个热编码，然后继续执行到svd

dsan = (d[!is.na(d$FieldGoodForSvd1) & d[!is.na(d$FieldGoodForSvd2),])

# We need factors to perform one hot encoding
dsan$DayOfYear <- as.factor(yday(ymd(dsan$FlightDate)))
dsan$TimeSlot <- as.factor(round(dsan$DepTime/100)) # in my case time slots were like 2055 for 20h55

dSvd= with(dsan,data.frame(
  FieldGoodForSvd1,
  FieldGoodForSvd2,
  # ~ performs one hot encoding (on factors), -1 removes intercept term
  model.matrix(~DayOfYear-1,dsan),
  model.matrix(~TimeSlot-1,dsan)
))
theSVD = svd(scale(dSvd))

一年中每天的一个热门编码/二进制列，并选择它们

1 个答案: