使用大数据运行cron作业

时间:2018-08-08 01:52:56

标签: r amazon-ec2 cron bigdata

我正在AWS上运行RStudio,并且有一个cron作业设置要每5分钟运行一次。唯一的问题是我想让这项工作使用两个相当大的数据文件(一个是1.3gb .rds,另一个是2.2gb .feather)来执行一些计算,但是readRDS / read_feather花费的时间太长。

是否有任何方法可以执行缓存了数据的cron作业,或者有另一种方法可以解决此问题(该作业应在下一个5分钟标记之前按时完成)而无需诉诸于无限的while循环执行在全球环境中该功能?

谢谢!

0 个答案:

没有答案