在没有涉及循环的情况下,在长时间的过程中将数据帧映射到磁盘

时间:2017-05-19 15:22:34

标签: r

我在R中有一个很长的过程,我想每隔“t”时间保存一次工作结果数据帧。

没有涉及循环,所以你不能使用计数器或迭代器来显式写入磁盘的条件。

你可能需要很多条件来保存“进度数据框”到磁盘,例如,使用ggmap包获取Lat / Lon位置的大数据集(Street + City + Zip代码)

    df<- mutate_geocode(long.data, location)
....long time.....
    write.table(df, file = "my_result.csv")

结果数据帧仅在进程结束时写入磁盘。 问题是,有时我的笔记本电脑冻结,谷歌地图限制是每天2.500查询,所以我的工作丢失,因为它没有保存到磁盘。你必须从头开始重新开始所有过程。

是一个非常通用的问题,因此没有提供样本数据。

如果没有涉及循环,

是否有任何方法将我的工作检查点到磁盘?

感谢

1 个答案:

答案 0 :(得分:1)

猜猜是否将数据拆分为更小的数据帧,比如100行,然后循环遍历所有数据,但是每个数据都保存到磁盘并在最后堆叠所有数据?