Question

最近我输出了一个大的data.table来分隔每x行的文本文件。第三方应用程序不接受我的大文件，我注意到它接受了它直到~20％，所以我决定拆分文件并通过6个单独的文件导入。

我用以下方式解决了它，因为我无法在stackoverflow和write.table的文档中找到更好的方法;我想知道对于未来潜在的应用来说，比这更有效的方法是什么。

dat <- data.frame(a=c(rep("a",10000)),b=c(rep("b",10000))

SetSize <- dim(dat)[1]/6

Set1 <- 1:SetSize
Set2 <- SetSize:(SetSize*2)
Set3 <- (SetSize*2):(SetSize*3)
Set4 <- (SetSize*3):(SetSize*4)
Set5 <- (SetSize*4):(SetSize*5)
Set6 <- (SetSize*5):dim(E.US)[1]

write.table(dat[Set1],"Input1.csv")
write.table(dat[Set2],"Input2.csv")
write.table(dat[Set3],"Input3.csv")
write.table(dat[Set4],"Input4.csv")
write.table(dat[Set5],"Input5.csv")
write.table(dat[Set6],"Input6.csv")

Answer 1

使用for循环可以做得更好，例如：

numsets = 6
SetSize <- ceiling(nrow(dat)/numsets)
sets = rep(1:numsets, each=SetSize)
for (i in 1:numsets) {
    write.table(dat[sets == i], paste0("Input", i, ".csv"))
}

Answer 2

dat <- data.frame(a=c(rep("a",10000)),b=c(rep("b",10000)))

split_write.table <- function(dat, nchunks=2, filename, ...) {
  g <- seq_len(nrow(dat)) %/% (ceiling(nrow(dat)/6))
  splitDat <- split(dat, g)
  for (i in seq_along(splitDat)) {
    ff <- strsplit(filename, ".", fixed=TRUE)
    write.table(splitDat[[i]], paste0(ff[[1]][1], i, ".", ff[[1]][2]), ...)
  }
  invisible(NULL)
}

split_write.table(dat, 6, "test.csv", sep=",", col.names = NA)

Answer 3

将其输出到正常的.csv文件但是（如果您使用的是基于Linux或OSX的系统）使用the split command将其分成多个块。例如：

# In R:
write.table(dat, "inputs.csv")

# From the command line:
split -l$(echo $(wc -l inputs.csv | sed 's/\([0-9]\) .*/\1/g' | tr -d ' ') / 6 + 1| bc) inputs.csv inputs

后者将创建六个.csv个文件。中间的部分是纯粹可选的，如果我们想将它分成六个部分，则计算每个文件应该使用的行数。如果你知道这个数字，比如X，你可以用split -lX inputs.csv inputs替换上面的数字。

最后，如果您仍想在R中进行，您可以

six_groups <- split(tmp <- seq_len(nrow(dat)), floor(5.5 * rank(tmp) / length(tmp)))
for (group in seq_along(six_groups))
  write.csv(dat[six_groups[[i]], ], paste0("Input", i, ".csv"))

Answer 4

你想在函数中使用循环吗？

writeOut <- function(df, n){

  # your data set
  df <- df

  # the arbitrary number of cuts you want to divide the data frame into
  df$Split <- cut(nrow(df), n)

  uniqueSplits <- unique(df$Split)

  for(i in 1:uniqueSplits){

    fileName <- paste('Input', match(i, uniqueSplits), '.csv', sep = '')

    subsetted_df <- subset(df, Split == i)

    subsetted_df$Split <- NULL

    write.csv(subsetted_df, file = fileName)

  }

}

# writeOut(dat, 6)

R中每x行写一次（maxrows？）

4 个答案: