Celery任务参数的大小限制?

时间:2018-08-02 14:49:43

标签: python redis celery celery-task

我们有一个Celery任务,需要Pandas数据框作为输入。首先将数据帧序列化为JSON,然后将其作为参数传递给任务。数据帧可以包含约3.5万个条目,这导致JSON字典占用约700kB。我们正在使用Redis作为经纪人。

不幸的是,为此任务调用delay()的时间通常太长(超过30秒),并且我们的网络请求超时。

Redis和Celery应该能够应付这种规模吗?我以为它很好,并且问题出在其他地方,但是我在互联网上找不到任何指导或经验。

0 个答案:

没有答案