根据可用RAM使用python / celery /任何其他任务队列调度任务

Question

是否有办法让Celery根据可用的RAM向工作人员分配任务？我正在开发一个将内存消耗算法应用于大型内存数据的Web应用程序，有没有办法使用Celery尊重可用的RAM，使其变得更加健壮？

Answer 1

无法根据可用的RAM向工作者分配任务。但是，根据您的设置和确切的要求，有一些方法可以解决此问题。我能想到的是：

• 您在装有RAM的计算机上运行一个工作程序（没有其他操作） 并让此工作人员仅处理这些需要大量内存的任务
• 如果您知道处理任务需要多少内存，则可以 检查该内存是否可作为任务的第一步 （假设在该盒子上没有其他东西可能会耗尽 检查和实际运行之间的内存 内存不足的东西），如果没有，您可以在 一定时间