将大型cron拆分为多个较小的cron

时间:2019-05-12 12:00:06

标签: java cron batch-processing

我的mongodb中有很多文档,需要在晚上11点进行处理,并且一旦处理,就需要对其进行更新。因此,编写了一个cron来按日期和时间获取这些文档。但是,要扩大规模,将需要处理成千上万的文档。 我们考虑将cron分成4个较小的cron。但是,这里的问题是,如果一天需要处理和更新2000个文档,我们必须一次处理500个文档,但是我们将500的值存储在哪里呢? 拆分该cron是否有效? 如果有效率,我该如何拆分它们? 附言虽然可以在并行线程中进行处理,但由于数据库存在读写冲突,因此应同步进行文档更新。

0 个答案:

没有答案