对于R专家而言,这个问题无疑很容易解决。
我需要在顺序标记的数据帧上重复一些函数(在将它们全部合并之前)。例如,我可能需要执行以下操作:
# READ IN DATAFILES & LABEL DF'S
df1 <- read.csv(file="file_A.csv",head=TRUE)
df2 <- read.csv(file="file_B.csv",head=TRUE)
df3 <- read.csv(file="file_C.csv",head=TRUE)
# TURN DF'S INTO DATA TABLES
df1<-data.table(df1)
df2<-data.table(df2)
df3<-data.table(df3)
# CHANGE VARIABLE TO POSIX
df1$date <-as.POSIXct(df1$date, format = "%Y-%m-%d %H:%M:%S")
df2$date <-as.POSIXct(df2$date, format = "%Y-%m-%d %H:%M:%S")
df3$date <-as.POSIXct(df3$date, format = "%Y-%m-%d %H:%M:%S")
# FILTER BY DATE RANGE
date_filter<-as.POSIXct("2012-01-01 01:01:01")
df1<-subset(df1, df1$date>date_filter)
df2<-subset(df2, df2$date>date_filter)
df3<-subset(df3, df3$date>date_filter)
# AGGREGATE OVER A UNIQUE ID
df1<-df1[,(sum(var)), by=list(id)]
df2<-df2[,(sum(var)), by=list(id)]
df2<-df2[,(sum(var)), by=list(id)]
# FINALLY, MERGE TOGETHER
df <-merge(df1,df2, by="id",all=TRUE)
你明白了 - 我只需要为25个数据帧而不是3个数据帧执行此操作。我怀疑我可以通过创建向量(df_nums<-c(1:25)
))然后使用函数来制作R重复函数循环遍历我的所有数据框,但我不知道该怎么做。
请帮忙!谢谢!
编辑:感谢Arun,我为实际代码做到了这一点:
out<- lapply(1:length(files), function(idx) {
df <- as.data.table(read.csv(files[idx], header = TRUE))
df$date <- as.POSIXct(df$date, format = "%Y-%m-%d %H:%M:%S")
date_filter <- as.POSIXct("2012-11-13 01:01:01")
df <- subset(df, df$date > date_filter)
df <- df[, .N, by = list(id)]
})
out<-data.table(out)
out.merge <- Reduce(function(...) merge(..., by="id", all=T), out)
编辑2 :运行以下语法后,我似乎data.tables
嵌套在out.
中。例如,
> head(out)
out
1: <data.table>
2: <data.table>
3: <data.table>
4: <data.table>
5: <data.table>
6: <data.table>
如何访问这些data.tables
以查看一切是否正常?
答案 0 :(得分:6)
您可以使用list.files
从目录中获取所有CSV文件,并使用lapply
递归,以这种方式:
# Thanks Matthew for correcting the pattern string
files <- list.files("path_to_files", full.names = TRUE, pattern="\\.csv$")
out <- lapply(1:length(files), function(idx) {
df <- as.data.table(read.csv(files[idx], header = TRUE))
df$date <- as.POSIXct(df$date, format = "%Y-%m-%d %H:%M:%S")
date_filter <- as.POSIXct("2012-01-01 01:01:01")
df <- subset(df, df$date > date_filter)
df <-df[, (sum(var)), by = list(id)]
})
您可以使用do.call(rbind, out)
或do.call(cbind, out)
按行或列绑定所有结果。
修改:@ roody关于外部联接的问题。像这样的东西?
out.merge <- Reduce(function(...) merge(..., by="id", all=T), out)