比较fread与read.table的速度,用于读取100M中的前1M行

时间:2015-08-28 04:54:11

标签: r dataframe data.table

我有一个14GB的data.txt文件。我通过读取前1M行来比较freadread.table的速度。虽然它不应该是fread看起来慢得多。显示百分比计数需要一些时间。

可能是什么原因?我认为它应该超级快......我正在使用Windows操作系统计算机。

1 个答案:

答案 0 :(得分:9)

fread mmap是该文件。这需要一些时间,并将映射整个文件。这意味着后续的“读入”将更快。

read.table不会mmap整个文件。它可以逐行读取文件[并在第1000000行停止]。

您可以在mmap() vs. reading blocks

mmap上看到一些背景信息

fread帮助中的示例突出显示了这种行为