重塑R中的堆栈等价物

时间:2013-12-15 19:40:05

标签: r reshape

我有一个宽zoo,每个人有两个变量(也许这是一个双宽?),我想转换为一个有两列的长面板(每个变量一个),这样我可以运行面板回归(例如使用plm包)。

这对melt包中的castreshape来说是微不足道的,但是随着这些数据的大小,我会遇到内存和速度问题。所以我想使用所有基数R,但我在基础reshape函数上遇到了困难。从(双)宽zoo对象我可以得到stack的“融化”长数据帧,但我担心这会无声地失败并且更喜欢{{1}的精度},但我不能正确的语法。

是否reshape相当于reshape?我可以运行的唯一语法仍然是一个(单个)宽数据框,其中包含列和变量行中的个体?

以下是相关的代码块,以防我完全偏离基础,但突出显示的块是我被卡住的地方,并希望用stack替换stack

reshape

编辑 - 更多详情。

我的# similar data library(zoo) dates <- seq(as.Date("2004-01-01"), by=7, len=52*10) tickers <- letters my.df <- data.frame(dates=as.Date(rep_len(dates, length(dates)*length(tickers))), tickers=rep(tickers, each=length(dates)), SVI=runif(length(dates)*length(tickers), min=0, max=100)) svi <- read.zoo(my.df, index.column="dates", split="tickers") meansvi <- rollmean(svi, 52, align="right") my.zoo <- merge(svi, meansvi) ############################################################ # I need help here -- what is the base::reshape equivalent? ############################################################ # reshape to long data frame my.df2 <- as.data.frame(my.zoo) my.df2$dates <- index(my.zoo) my.df3 <- stack(my.df2, select=-dates) my.df3$dates <- as.Date(rep_len(index(my.zoo), nrow(my.df3))) # this is close, but still "single-wide" my.bad <- reshape(my.df2, varying=setdiff(names(my.df2), "dates"), direction="long") ############################################################ # end help region ############################################################ # split "ind" to recover ticker and variable my.df3$ind <- sub("\\.", " ", my.df3$ind) inds.list <- strsplit(my.df3$ind, " ") inds.df <- do.call(rbind.data.frame, inds.list) names(inds.df) <- c("tickers", "variables") my.df3 <- cbind(my.df3, inds.df) my.df3$ind <- NULL # reshape long data frame with variables in columns my.df4 <- reshape(my.df3, timevar="variables", idvar=c("dates", "tickers"), direction="wide") names(my.df4) <- sub("values.", "", names(my.df4)) 调用的输出格式正确,但我想用基础stack生成它。这是reshape的{​​{1}},这是我的数据的“融化”长版本(即行中的日期 - 个别变量对)。

head

我在上面显示的my.df3调用不会产生与> head(my.df3) values dates tickers variables 1 16.32171 2004-01-01 a svi 2 30.77852 2004-01-08 a svi 3 14.75164 2004-01-15 a svi 4 49.77205 2004-01-22 a svi 5 59.05023 2004-01-29 a svi 6 55.86036 2004-02-05 a svi 相同的输出,并将我的数据保留为宽数据框,但每个日期变量组合都有一行。这是上面代码中的reshape

stack

我可以使用上面的代码实现整体所需的输出,这只是我想用my.bad而不是> my.bad[1:5, 1:5] dates time a b c 1.svi 2004-01-01 svi 16.32171 91.314077 93.19167 2.svi 2004-01-08 svi 30.77852 17.907831 61.73727 3.svi 2004-01-15 svi 14.75164 13.730005 53.04939 4.svi 2004-01-22 svi 49.77205 5.987645 79.19428 5.svi 2004-01-29 svi 59.05023 38.226002 88.26567 替换的中间步骤。这是最终的期望输出,它是长的,每个变量有一列,行中有日期 - 个别对。

reshape

也许有办法完全跳过我对stack默默失败的担忧?

2 个答案:

答案 0 :(得分:3)

如果您正在寻找表现,我认为您使用base reshape无法获得很多收益。但您可以尝试在开发版本(1.8.11)中使用melt.data.table

## create dt object from zoo
dt <- data.table(index=index(my.zoo),coredata(my.zoo),key='index')
## fast melt and split variable column
melt(dt,id='index')[,c("tickers","variables","variable") := { 
  vv <- unlist(strsplit(as.character(variable),'.',fixed=TRUE))
  list(unlist(vv)[c(T,F)],unlist(vv)[c(F,T)],NULL) 
}]

         index    value tickers variables
    1: 2004-01-01 65.05146       a       svi
    2: 2004-01-08 52.25760       a       svi
    3: 2004-01-15 24.71477       a       svi
    4: 2004-01-22 94.28517       a       svi
    5: 2004-01-29 11.46672       a       svi
   ---                                      
27036: 2013-11-14 54.44904       z   meansvi
27037: 2013-11-21 54.20244       z   meansvi
27038: 2013-11-28 53.82270       z   meansvi
27039: 2013-12-05 52.66165       z   meansvi
27040: 2013-12-12 50.87973       z   meansvi

答案 1 :(得分:3)

@agstudy建议的第一步(将“索引”作为列)将是必需的(据我所知)。我还建议重新命名一些列(主要是为了方便)。

library(splitstackshape) # also loads the "data.table" package
dt <- data.table(index=index(my.zoo),coredata(my.zoo),key='index')
setnames(dt, gsub("([a-z].*)\\.([a-z].*)", "\\2_\\1", names(dt)))
names(dt)
#  [1] "index"     "svi_a"     "svi_b"     "svi_c"     "svi_d"     "svi_e"     "svi_f"     "svi_g"    
#  [9] "svi_h"     "svi_i"     "svi_j"     "svi_k"     "svi_l"     "svi_m"     "svi_n"     "svi_o"    
# [17] "svi_p"     "svi_q"     "svi_r"     "svi_s"     "svi_t"     "svi_u"     "svi_v"     "svi_w"    
# [25] "svi_x"     "svi_y"     "svi_z"     "meansvi_a" "meansvi_b" "meansvi_c" "meansvi_d" "meansvi_e"
# [33] "meansvi_f" "meansvi_g" "meansvi_h" "meansvi_i" "meansvi_j" "meansvi_k" "meansvi_l" "meansvi_m"
# [41] "meansvi_n" "meansvi_o" "meansvi_p" "meansvi_q" "meansvi_r" "meansvi_s" "meansvi_t" "meansvi_u"
# [49] "meansvi_v" "meansvi_w" "meansvi_x" "meansvi_y" "meansvi_z"

从那里开始,这是一个直截了当的reshape问题:

reshape(dt, idvar="index", varying=2:ncol(dt), sep="_", direction = "long")
#             index time       svi  meansvi
#     1: 2004-01-01    a 42.037201       NA
#     2: 2004-01-08    a 26.178651       NA
#     3: 2004-01-15    a 22.918586       NA
#     4: 2004-01-22    a 32.408017       NA
#     5: 2004-01-29    a  8.014803       NA
#    ---                                   
# 13516: 2013-11-14    z 18.720031 51.98170
# 13517: 2013-11-21    z 40.362254 52.43208
# 13518: 2013-11-28    z 45.242975 53.18101
# 13519: 2013-12-05    z  9.951862 53.11564
# 13520: 2013-12-12    z 15.520532 52.41540

或者,坚持使用“splitstackshape”,您可以使用merged.stack(也会比reshape更快):

merged.stack(dt, id.vars="index", var.stubs=c("^svi", "^meansvi"), sep = "_")
#             index .time_1      ^svi ^meansvi
#     1: 2004-01-01       a 42.037201       NA
#     2: 2004-01-01       b  8.121128       NA
#     3: 2004-01-01       c 65.798174       NA
#     4: 2004-01-01       d 31.805462       NA
#     5: 2004-01-01       e  8.002793       NA
#    ---                                      
# 13516: 2013-12-12       v 68.643179 44.87272
# 13517: 2013-12-12       w 48.169667 43.63862
# 13518: 2013-12-12       x 58.160491 53.72554
# 13519: 2013-12-12       y 72.259193 47.61617
# 13520: 2013-12-12       z 15.520532 52.41540

严格基础R重塑:

您没有 重命名您的数据以使用reshape,但如果您不这样做(我发现更有可能引入错误),还会涉及更多手动工作。尝试:

df <- data.frame(index = index(my.zoo), coredata(my.zoo))
reshape(df, direction = "long", idvar="index", varying=2:ncol(df), 
        v.names=c("svi", "meansvi"), times = letters)

我发布了一些基准here。总结是@agstudy以速度领先:

## Unit: milliseconds
##       expr   min     lq median     uq   max neval
##     AM_1() 229.2 236.47 244.66 255.91 334.1    20
##     AM_2()  84.0  86.69  90.08  93.60 176.0    20
##  agstudy()  52.5  52.95  56.09  60.36 133.5    20
##     orig() 268.7 324.58 350.45 440.32 588.6    20

我可能有偏见,但我对merged.stack函数的结果非常满意。