批量加载到多个cronjobs一次=性能问题

时间:2015-02-23 14:01:52

标签: java crontab message-queue

亲爱的Stackoverflowers!

在我们的系统中,我们每天有大约100个客户导入1000多个文档。 我们通过为每个客户设置一个每5分钟运行一次的cronjob并将sftp轮询到新文档来将文档导入数据库。每个客户都有自己的sftp站点。然后,我们有一个基于java的批处理,在将所有这些文档导入数据库之前对其进行爬行。

基本上对于每个cronjob,将创建一个java实例并最终清空内存,因为可以一次执行几个cronjobs。 我们总是要检查每次获得新客户时是否需要订购更多内存。

我不确定cronjob是否是此环境最有效的解决方案。我们可能最终/我们最终花费更多的钱来升级服务器而不是我们应该。

我在想,Message Queue可能是更好的解决方案吗?

0 个答案:

没有答案