如何在R中的非常大的文本文件中获得行的确切计数？

Question

我有多个文件，每个文件的行数都超过1.000.000，但是我需要知道使用R的每个文档的确切行数。我该如何实现？

Answer 1

1）wc 这应该很快。首先确定文件名。我们假设当前目录中所有扩展名为.txt的文件。根据需要进行更改。然后为每个文件运行wc -l并从中形成数据帧。

（如果您使用的是Windows，请安装Rtools并确保\Rtools\bin位于PATH中。）

filenames <- dir(pattern = "[.]txt$")
wc <- function(x) shell(paste("wc -l", x), intern = TRUE)
DF <- read.table(text = sapply(filenames, wc), col.names = c("count", "filename"))

2）count.fields （可替代字段）是使用count.fields。这不使用任何外部命令。 filenames来自上方。

sapply(filenames, function(x) length(count.fields(x, sep = "\1")))