我有一个很大的(20GB)CSV文件,我需要修改它的某些列。 逐行(或每次读取可能几千行)导入数据表的最优化方法是什么? 我已经尝试了下面给出的解决方案 What is a good way to read line-by-line in R?
但是它似乎很慢。在表结构本身中是否有可以逐行读取的库-还具有某种Buffer逻辑以使读取速度更快?
答案 0 :(得分:2)
您可以使用fread()
中的快速data.table
。
通过skip=
,您可以设置读取段的开头,通过nrow=
,可以设置要读取的行数。