合并R中的数据帧

时间:2012-03-21 15:40:09

标签: r csv

您好我需要处理很多CSV文件。每个文件都是由算法运行生成的。 我的数据总是有一个键和一个这样的值:

csv1:

        index value
  1     1     1
  2     2     1
  3     3     1
  4     4     1
  5     5     1

CSV2:

      index value
1     4     3
2     5     3
3     6     3
4     7     3
5     8     3

现在我想聚合这些CSV数据,如下所示:

当两个文件包含相同的密钥时,例如5,结果行应包含密钥,两个文件共享(5)和两个值的平均值((1 + 3)/ 2 = 2)。如果只有一个文件包含一个密钥(例如2),则该行只会添加到结果表中(key = 2,value = 1)。

这样的事情:

      index value
1     1     1
2     2     1
3     3     1
4     4     2 (as (1+4)/2 = 2)
5     5     2 (as (1+4)/2 = 2)
6     6     3
7     7     3
8     8     3

起初我认为rbind()完成了这项工作,但它没有聚合这些值,只是连接数据。我怎样才能用R来实现呢?

2 个答案:

答案 0 :(得分:13)

这是一个解决方案。到目前为止,我正在关注所有优秀的评论,希望通过向您展示如何处理任意数量的文件来增加价值。我假设您将所有csv文件放在同一目录中(my.csv.dir)。

# locate the files
files <- list.files(my.csv.dir)

# read the files into a list of data.frames
data.list <- lapply(files, read.csv)

# concatenate into one big data.frame
data.cat <- do.call(rbind, data.list)

# aggregate
data.agg <- aggregate(value ~ index, data.cat, mean)

修改:在下面的评论中处理您更新的问题:

files     <- list.files(my.csv.dir)
algo.name <- sub("-.*", "", files)
data.list <- lapply(files, read.csv)
data.list <- Map(transform, data.list, algorithm = algo.name)
data.cat  <- do.call(rbind, data.list)
data.agg  <- aggregate(value ~ algorithm + index, data.cat, mean)

答案 1 :(得分:0)

我从这个问题中理解的是,您需要一个列表,其中包含csv文件或txt文件的data.frame列表并对其进行汇总。

创建一个目录并删除该文件夹中的所有csv和txt文件。 现在运行以下命令以获取列表中的结果。

  

L = list.files(图案=&#34;的.csv&#34)

此l对象将包含csv文件的名称

  

M =地图(read.csv,l)的

此Map函数将read.csv函数映射到所有csv文件,m对象包含csv文件作为list.frame in list。

  

DAT = do.call(rbind,M)

现在调用plyr库

  

库(plyr)

     

解析度= ddply(DAT,〜指数,总结,值=平均(值))

此res对象将包含聚合值

我希望这能帮助你获得渴望的结果。