Question

我是使用R编程的新手。

我正在尝试编写一个循环，其中分别读取数据块（因为数据大小为20GB，包含3亿行）并执行代码来创建日期列并将其作为csv文件写入每个块中每个文件夹。以下是另一名成员提出的试验。它工作顺利，但唯一的问题是，一旦执行该过程，我就无法在同一个循环中编写每个块。

index = 0
nrows = length(count.fields("RM.csv", sep = ",")) 
df = vector('list',ceiling(nrows/2)) 
col_names = colnames(read.csv('RM.csv', nrow=1, header = T))
end_found=FALSE

while(!end_found)
{
  begin = 1000*index
  end = min(nrows,begin+1000)
  print(paste0("Reading rows ", begin+1 ," to ", end ))
  df[[index+1]] = fread('RM.csv',skip = begin, nrows =end-begin,
                        col.names = col_names)
  index = index+1
  if(end==nrows) end_found=TRUE
  df = do.call(as.data.frame,df)
  write.csv(df,file = paste0('test1',index,'.csv'))
}

数据：

RM.csv:
        Date
    1   7/30/2017 19:16
    2   7/30/2017 19:05
    3   7/30/2017 19:03
    4   7/30/2017 19:37
    5   7/30/2017 18:36
    6   7/30/2017 20:08
    7   7/30/2017 19:00
    8   7/30/2017 19:21
    9   7/30/2017 17:01

期望的输出：

    Date    Month   Year
1   7/30/2017 19:16 Jul-17  2017
2   7/30/2017 19:05 Jul-17  2017
3   7/30/2017 19:03 Jul-17  2017
4   7/30/2017 19:37 Jul-17  2017
5   7/30/2017 18:36 Jul-17  2017
6   7/30/2017 20:08 Jul-17  2017
7   7/30/2017 19:00 Jul-17  2017
8   7/30/2017 19:21 Jul-17  2017
9   7/30/2017 17:01 Jul-17  2017

Answer 1

下面是一个将iris数据集分成15个data.frame的示例，每个数据集为10行。希望这可以帮助您完成数据集的尝试。

seq.int <- seq(0, nrow(iris), 10)
seq.gp <- cut(1:nrow(iris), breaks=seq.int, include.lowest=TRUE)

iris_list <- split(iris, seq.gp)

然后，您可以使用列表友好循环或lapply操作列表中的每个data.frame。之后，每个data.frame都可以作为单独的csv写出：

names(iris_list) <- paste0("test1_", sprintf("%02d", 1:length(iris_list)))
lapply(names(iris_list), function(x) write.csv(iris_list[[x]], paste0(x, ".csv")))

创建一个for循环以读取块中的大数据并创建新列

1 个答案: