我从ff或ffbase包运行了read.csv.ffdf。但它坚持使用以下消息
read.table.ffdf 1..1000 (1000) csv-read=0.15sec ffdf-write=1.24sec
read.table.ffdf 1001..63015 (62015) csv-read=9.89sec ffdf-write=8.84sec
read.table.ffdf 63016..125030 (62015) csv-read=8.18sec ffdf-write=6.74sec
read.table.ffdf 125031..187045 (62015) csv-read=8.15sec ffdf-write=6.72sec
read.table.ffdf 187046..249060 (62015) csv-read=8.19sec ffdf-write=6.72sec
read.table.ffdf 249061..311075 (62015) csv-read=8.05sec ffdf-write=7.13sec
read.table.ffdf 311076..373090 (62015) csv-read=8.26sec ffdf-write=6.73sec
read.table.ffdf 373091..435105 (62015) csv-read=8.26sec ffdf-write=6.8sec
这些文件包含大约800000行,但为什么它会在此处停止,从此时起我无法运行任何内容?
答案 0 :(得分:2)
您使用的是read.csv.ffdf的transFUN参数吗?如果是,请确保从transFUN返回的行数与进入transFUN的data.frame的行数相同。
说明: 当一个块返回的记录少于next.rows参数时,read.csv.ffdf的导入会停止,所以如果你在transFUN中进行子集化,它将会停止。 transFUN用于添加派生字段或清理数据,而不是子集。