Question

我有大数据集（例如以下是小数据集）。我可以拆分数据帧然后我想输出到与用于拆分的lavel相对应的多个文本文件。

mydata <- data.frame (var1 = rep(c("k", "l", "c"), each = 5), var2 = rnorm(5), 
      var3 = rnorm(5))
mydata    
   var1       var2       var3
1     k  0.5406022  0.3654706
2     k -0.6356879 -0.9160001
3     k  0.2946240 -0.1072241
4     k -0.2609121  0.1036626
5     k  0.6206579  0.6111655
6     l  0.5406022  0.3654706
7     l -0.6356879 -0.9160001
8     l  0.2946240 -0.1072241
9     l -0.2609121  0.1036626
10    l  0.6206579  0.6111655
11    c  0.5406022  0.3654706
12    c -0.6356879 -0.9160001
13    c  0.2946240 -0.1072241
14    c -0.2609121  0.1036626
15    c  0.6206579  0.6111655

现在拆分

> spt1 <- split(mydata, mydata$var1) 

> spt1

$c
   var1       var2       var3
11    c  0.5406022  0.3654706
12    c -0.6356879 -0.9160001
13    c  0.2946240 -0.1072241
14    c -0.2609121  0.1036626
15    c  0.6206579  0.6111655

$k
  var1       var2       var3
1    k  0.5406022  0.3654706
2    k -0.6356879 -0.9160001
3    k  0.2946240 -0.1072241
4    k -0.2609121  0.1036626
5    k  0.6206579  0.6111655

$l
   var1       var2       var3
6     l  0.5406022  0.3654706
7     l -0.6356879 -0.9160001
8     l  0.2946240 -0.1072241
9     l -0.2609121  0.1036626
10    l  0.6206579  0.6111655

我想以outputc，outputk和outputl的名义写.table。因此，输出是公共前缀，后跟分组变量的标签名称。

write.table (spt1)

Answer 1

在spt1的名称上使用lapply将允许我们访问spt1中的数据帧以及我们可以在粘贴中使用的名称来创建我们的文件。

lapply(names(spt1), function(x){write.table(spt1[[x]], file = paste("output", x, sep = ""))})

如果需要，您可以在粘贴中添加常用扩展名。

Answer 2

您还可以使用非常快速的data.table解决方案。在这种情况下，无需将dataframe拆分为list。

library(data.table) # v1.9.7 (devel version)

setDT(mydata) # convert your dataframe into a data.table

# save files
  mydata[, fwrite(.SD, paste0("output", var1,".csv")), by = var1]

如果您想在输出中保留var1，可以执行以下操作：

mydata[, fwrite(copy(.SD)[, var1 := var1] paste0("output", var1,".csv")), by = var1]

PS。请注意，此答案使用的fwrite仍在data.table的开发版本中。 Go here for install instructions。您可以简单地使用write.csv或write.table，但是如果您正在处理大型数据集并且fwrite肯定是one of the fastest alternatives，则可能需要快速解决方案。

将数据帧拆分为多个输出文件

2 个答案: