在顺序标记的数据帧上重复功能

时间:2013-01-21 15:43:26

标签: r

对于R专家而言,这个问题无疑很容易解决。

我需要在顺序标记的数据帧上重复一些函数(在将它们全部合并之前)。例如,我可能需要执行以下操作:

# READ IN DATAFILES & LABEL DF'S 
df1 <- read.csv(file="file_A.csv",head=TRUE) 
df2 <- read.csv(file="file_B.csv",head=TRUE) 
df3 <- read.csv(file="file_C.csv",head=TRUE)

# TURN DF'S INTO DATA TABLES
df1<-data.table(df1)
df2<-data.table(df2)
df3<-data.table(df3)

# CHANGE VARIABLE TO POSIX
df1$date <-as.POSIXct(df1$date, format = "%Y-%m-%d %H:%M:%S")
df2$date <-as.POSIXct(df2$date, format = "%Y-%m-%d %H:%M:%S")
df3$date <-as.POSIXct(df3$date, format = "%Y-%m-%d %H:%M:%S")

# FILTER BY DATE RANGE
date_filter<-as.POSIXct("2012-01-01 01:01:01")
df1<-subset(df1, df1$date>date_filter)
df2<-subset(df2, df2$date>date_filter)
df3<-subset(df3, df3$date>date_filter)

# AGGREGATE OVER A UNIQUE ID 
df1<-df1[,(sum(var)), by=list(id)] 
df2<-df2[,(sum(var)), by=list(id)] 
df2<-df2[,(sum(var)), by=list(id)] 

# FINALLY, MERGE TOGETHER
df <-merge(df1,df2, by="id",all=TRUE)

你明白了 - 我只需要为25个数据帧而不是3个数据帧执行此操作。我怀疑我可以通过创建向量(df_nums<-c(1:25)))然后使用函数来制作R重复函数循环遍历我的所有数据框,但我不知道该怎么做。

请帮忙!谢谢!

编辑:感谢Arun,我为实际代码做到了这一点:

out<- lapply(1:length(files), function(idx) {
  df <- as.data.table(read.csv(files[idx], header = TRUE))
  df$date <- as.POSIXct(df$date, format = "%Y-%m-%d %H:%M:%S")
  date_filter <- as.POSIXct("2012-11-13 01:01:01")
  df <- subset(df, df$date > date_filter)
  df <- df[, .N, by = list(id)] 
})
out<-data.table(out)
out.merge <- Reduce(function(...) merge(..., by="id", all=T), out)

编辑2 :运行以下语法后,我似乎data.tables嵌套在out.中。例如,

> head(out)
            out
1: <data.table>
2: <data.table>
3: <data.table>
4: <data.table>
5: <data.table>
6: <data.table>

如何访问这些data.tables以查看一切是否正常?

1 个答案:

答案 0 :(得分:6)

您可以使用list.files从目录中获取所有CSV文件,并使用lapply递归,以这种方式:

# Thanks Matthew for correcting the pattern string
files <- list.files("path_to_files", full.names = TRUE, pattern="\\.csv$") 
out <- lapply(1:length(files), function(idx) {
    df <- as.data.table(read.csv(files[idx], header = TRUE))
    df$date <- as.POSIXct(df$date, format = "%Y-%m-%d %H:%M:%S")
    date_filter <- as.POSIXct("2012-01-01 01:01:01")
    df <- subset(df, df$date > date_filter)
    df <-df[, (sum(var)), by = list(id)]
})

您可以使用do.call(rbind, out)do.call(cbind, out)按行或列绑定所有结果。

修改:@ roody关于外部联接的问题。像这样的东西?

out.merge <- Reduce(function(...) merge(..., by="id", all=T), out)