我在文件路径中有多个hdfs文件,需要在R中的1个数据帧中导入和合并所有文件。 目前使用下面的语句,但在这里,如果有任何0kb的文件,它会失败,每次我从hadoop复制文件时,它总是有0kb文件。
请建议一种导入和合并大小超过0kb的文件的方法。
目前正在使用语句(在将文件与0kb合并时存在问题)。
library(data.table)
t = setwd("/filepath/1/")
files <- list.files(path = t,pattern = "")
temp <- lapply(files, fread, sep=",")
data <- rbindlist( temp )