我有一个数据帧列表,所有数据帧都是相同的尺寸(64 obs,12个变量)。我需要以以下方式“展平”这些数据帧,即返回64 x 11 = 704个变量和一个观察值,以得出具有所有唯一值和数据帧的列名称的一列的所有组合。下面提供了示例。
我尝试使用acast
和melt
来实现这一目标。但是,当必须在100k +数据帧上应用此方法时,融解前后的支持操作会使该方法变慢。
以下是示例数据框和我采用的方法:
df <- data.frame(var1=c(1,2,3),name=c("these","are","names"),var3=c(4,NA,NA),var4=c(NA,NA,5),var6=c(NA,5,NA))
flattening <- function(df){
rownames(df) <- df$name
df$name <- NULL
df <- melt(as.matrix(df)) %>% group_by(name = paste0(Var1,"_",Var2)) %>% summarise(
value = first(value)
) %>% data.frame()
cnames <- df$name
df <- data.frame(values=df$value) %>% t() %>% data.frame()
names(df) <- cnames
df
}
flattening(df)
示例df如下所示:
var1 name var3 var4 var6
1 1 these 4 NA NA
2 2 are NA NA 5
3 3 names NA 5 NA
我正在寻找预期的结果:
are_var1 are_var3 are_var4 are_var6 names_var1 names_var3 names_var4 names_var6 these_var1 these_var3 these_var4 these_var6
values 2 NA NA 5 3 NA 5 NA 1 4 NA NA
结果更新:
我在下面有一个微基准测试,其中expr
是用户的句柄:
Unit: milliseconds
expr min lq mean median uq max neval cld
old 78.370093 81.038799 90.272721 85.694885 89.304528 1114.03968 500 c
tmfmnk 11.829791 12.697675 13.844833 13.134485 13.623065 34.91430 500 b
s_t 1.476159 1.774409 2.030418 1.873876 2.003681 16.89159 500 a
答案 0 :(得分:2)
一个dplyr
和tidyr
选项可以是:
df %>%
gather(var, val, -2) %>%
mutate(var = paste(name, var, sep = "_")) %>%
select(-name) %>%
spread(var, val)
are_var1 are_var3 are_var4 are_var6 names_var1 names_var3 names_var4 names_var6
1 2 NA NA 5 3 NA 5 NA
these_var1 these_var3 these_var4 these_var6
1 1 4 NA NA
它应该比您原来的方法要快,但是,肯定有更快的可能性。
答案 1 :(得分:1)
您还可以使用reshape2::melt()
然后使用基数R:
library(reshape2)
dats <- melt(df)
rownames(dats) <- paste0(dats$name,'-',dats$variable)
dats <- t(dats)
dats <- dats[-c(1,2),]
dats <- sapply(dats,as.numeric)
dats
these-var1 are-var1 names-var1 these-var3 are-var3 names-var3 these-var4 are-var4 names-var4 these-var6 are-var6
1 2 3 4 NA NA NA NA 5 NA 5
names-var6
NA
修改
此处为data.frame
:
dats <- as.data.frame.matrix(t(as.data.frame.numeric(dats)))
答案 2 :(得分:0)
使用dcast
中的data.table
,这可能需要多个value.var
列
library(data.table)
out <- dcast(setDT(df)[, rn := 1], rn ~ name,
value.var = paste0("var", c(1, 3, 4, 6)))[, rn := NULL][]
setnames(out, sub("([^_]+)_([^_]+)", "\\2_\\1", names(out)))
out
# are_var1 names_var1 these_var1 are_var3 names_var3 these_var3 are_var4 names_var4 these_var4 are_var6 names_var6 these_var6
#1: 2 3 1 NA NA 4 NA 5 NA 5 NA NA