R：以编程方式一小部分读取非常大的数据

Question

我有一个非常大的数据文件（my_file.dat），其中包含31191984行和几个变量。我想以编程方式将此数据集一小部分导入R中，例如数据帧中的每一百万行。在此link，建议将read.table()与nrows选项一起使用。使用以下命令，它可用于第一轮100万行：

  my_data <- read.table("path_to_my_file.dat", nrows = 1e+06)

在下一轮100万行中如何自动执行此过程，直到将所有零件导入为R数据帧？我知道，一种选择是将数据存储到SQL数据库中，然后让R与SQL进行对话。但是，我只在寻找R特定的解决方案。

Answer 1

您可以使用skip：

for(i in 1:n){
read.table("file.txt",skip=i*1e+06 ,nrows=1e+06 )
}

例如，here