我有一个宽zoo
,每个人有两个变量(也许这是一个双宽?),我想转换为一个有两列的长面板(每个变量一个),这样我可以运行面板回归(例如使用plm
包)。
这对melt
包中的cast
和reshape
来说是微不足道的,但是随着这些数据的大小,我会遇到内存和速度问题。所以我想使用所有基数R,但我在基础reshape
函数上遇到了困难。从(双)宽zoo
对象我可以得到stack
的“融化”长数据帧,但我担心这会无声地失败并且更喜欢{{1}的精度},但我不能正确的语法。
是否reshape
相当于reshape
?我可以运行的唯一语法仍然是一个(单个)宽数据框,其中包含列和变量行中的个体?
以下是相关的代码块,以防我完全偏离基础,但突出显示的块是我被卡住的地方,并希望用stack
替换stack
。
reshape
编辑 - 更多详情。
我的# similar data
library(zoo)
dates <- seq(as.Date("2004-01-01"), by=7, len=52*10)
tickers <- letters
my.df <- data.frame(dates=as.Date(rep_len(dates, length(dates)*length(tickers))),
tickers=rep(tickers, each=length(dates)),
SVI=runif(length(dates)*length(tickers), min=0, max=100))
svi <- read.zoo(my.df, index.column="dates", split="tickers")
meansvi <- rollmean(svi, 52, align="right")
my.zoo <- merge(svi, meansvi)
############################################################
# I need help here -- what is the base::reshape equivalent?
############################################################
# reshape to long data frame
my.df2 <- as.data.frame(my.zoo)
my.df2$dates <- index(my.zoo)
my.df3 <- stack(my.df2, select=-dates)
my.df3$dates <- as.Date(rep_len(index(my.zoo), nrow(my.df3)))
# this is close, but still "single-wide"
my.bad <- reshape(my.df2,
varying=setdiff(names(my.df2), "dates"),
direction="long")
############################################################
# end help region
############################################################
# split "ind" to recover ticker and variable
my.df3$ind <- sub("\\.", " ", my.df3$ind)
inds.list <- strsplit(my.df3$ind, " ")
inds.df <- do.call(rbind.data.frame, inds.list)
names(inds.df) <- c("tickers", "variables")
my.df3 <- cbind(my.df3, inds.df)
my.df3$ind <- NULL
# reshape long data frame with variables in columns
my.df4 <- reshape(my.df3, timevar="variables", idvar=c("dates", "tickers"), direction="wide")
names(my.df4) <- sub("values.", "", names(my.df4))
调用的输出格式正确,但我想用基础stack
生成它。这是reshape
的{{1}},这是我的数据的“融化”长版本(即行中的日期 - 个别变量对)。
head
我在上面显示的my.df3
调用不会产生与> head(my.df3)
values dates tickers variables
1 16.32171 2004-01-01 a svi
2 30.77852 2004-01-08 a svi
3 14.75164 2004-01-15 a svi
4 49.77205 2004-01-22 a svi
5 59.05023 2004-01-29 a svi
6 55.86036 2004-02-05 a svi
相同的输出,并将我的数据保留为宽数据框,但每个日期变量组合都有一行。这是上面代码中的reshape
。
stack
我可以使用上面的代码实现整体所需的输出,这只是我想用my.bad
而不是> my.bad[1:5, 1:5]
dates time a b c
1.svi 2004-01-01 svi 16.32171 91.314077 93.19167
2.svi 2004-01-08 svi 30.77852 17.907831 61.73727
3.svi 2004-01-15 svi 14.75164 13.730005 53.04939
4.svi 2004-01-22 svi 49.77205 5.987645 79.19428
5.svi 2004-01-29 svi 59.05023 38.226002 88.26567
替换的中间步骤。这是最终的期望输出,它是长的,每个变量有一列,行中有日期 - 个别对。
reshape
也许有办法完全跳过我对stack
默默失败的担忧?
答案 0 :(得分:3)
如果您正在寻找表现,我认为您使用base reshape
无法获得很多收益。但您可以尝试在开发版本(1.8.11)中使用melt.data.table
。
## create dt object from zoo
dt <- data.table(index=index(my.zoo),coredata(my.zoo),key='index')
## fast melt and split variable column
melt(dt,id='index')[,c("tickers","variables","variable") := {
vv <- unlist(strsplit(as.character(variable),'.',fixed=TRUE))
list(unlist(vv)[c(T,F)],unlist(vv)[c(F,T)],NULL)
}]
index value tickers variables
1: 2004-01-01 65.05146 a svi
2: 2004-01-08 52.25760 a svi
3: 2004-01-15 24.71477 a svi
4: 2004-01-22 94.28517 a svi
5: 2004-01-29 11.46672 a svi
---
27036: 2013-11-14 54.44904 z meansvi
27037: 2013-11-21 54.20244 z meansvi
27038: 2013-11-28 53.82270 z meansvi
27039: 2013-12-05 52.66165 z meansvi
27040: 2013-12-12 50.87973 z meansvi
答案 1 :(得分:3)
@agstudy建议的第一步(将“索引”作为列)将是必需的(据我所知)。我还建议重新命名一些列(主要是为了方便)。
library(splitstackshape) # also loads the "data.table" package
dt <- data.table(index=index(my.zoo),coredata(my.zoo),key='index')
setnames(dt, gsub("([a-z].*)\\.([a-z].*)", "\\2_\\1", names(dt)))
names(dt)
# [1] "index" "svi_a" "svi_b" "svi_c" "svi_d" "svi_e" "svi_f" "svi_g"
# [9] "svi_h" "svi_i" "svi_j" "svi_k" "svi_l" "svi_m" "svi_n" "svi_o"
# [17] "svi_p" "svi_q" "svi_r" "svi_s" "svi_t" "svi_u" "svi_v" "svi_w"
# [25] "svi_x" "svi_y" "svi_z" "meansvi_a" "meansvi_b" "meansvi_c" "meansvi_d" "meansvi_e"
# [33] "meansvi_f" "meansvi_g" "meansvi_h" "meansvi_i" "meansvi_j" "meansvi_k" "meansvi_l" "meansvi_m"
# [41] "meansvi_n" "meansvi_o" "meansvi_p" "meansvi_q" "meansvi_r" "meansvi_s" "meansvi_t" "meansvi_u"
# [49] "meansvi_v" "meansvi_w" "meansvi_x" "meansvi_y" "meansvi_z"
从那里开始,这是一个直截了当的reshape
问题:
reshape(dt, idvar="index", varying=2:ncol(dt), sep="_", direction = "long")
# index time svi meansvi
# 1: 2004-01-01 a 42.037201 NA
# 2: 2004-01-08 a 26.178651 NA
# 3: 2004-01-15 a 22.918586 NA
# 4: 2004-01-22 a 32.408017 NA
# 5: 2004-01-29 a 8.014803 NA
# ---
# 13516: 2013-11-14 z 18.720031 51.98170
# 13517: 2013-11-21 z 40.362254 52.43208
# 13518: 2013-11-28 z 45.242975 53.18101
# 13519: 2013-12-05 z 9.951862 53.11564
# 13520: 2013-12-12 z 15.520532 52.41540
或者,坚持使用“splitstackshape”,您可以使用merged.stack
(也会比reshape
更快):
merged.stack(dt, id.vars="index", var.stubs=c("^svi", "^meansvi"), sep = "_")
# index .time_1 ^svi ^meansvi
# 1: 2004-01-01 a 42.037201 NA
# 2: 2004-01-01 b 8.121128 NA
# 3: 2004-01-01 c 65.798174 NA
# 4: 2004-01-01 d 31.805462 NA
# 5: 2004-01-01 e 8.002793 NA
# ---
# 13516: 2013-12-12 v 68.643179 44.87272
# 13517: 2013-12-12 w 48.169667 43.63862
# 13518: 2013-12-12 x 58.160491 53.72554
# 13519: 2013-12-12 y 72.259193 47.61617
# 13520: 2013-12-12 z 15.520532 52.41540
您没有 重命名您的数据以使用reshape
,但如果您不这样做(我发现更有可能引入错误),还会涉及更多手动工作。尝试:
df <- data.frame(index = index(my.zoo), coredata(my.zoo))
reshape(df, direction = "long", idvar="index", varying=2:ncol(df),
v.names=c("svi", "meansvi"), times = letters)
我发布了一些基准here。总结是@agstudy以速度领先:
## Unit: milliseconds
## expr min lq median uq max neval
## AM_1() 229.2 236.47 244.66 255.91 334.1 20
## AM_2() 84.0 86.69 90.08 93.60 176.0 20
## agstudy() 52.5 52.95 56.09 60.36 133.5 20
## orig() 268.7 324.58 350.45 440.32 588.6 20
我可能有偏见,但我对merged.stack
函数的结果非常满意。