我正在使用Django开发一个应用程序。我正在设计的应用程序的一部分应该使用关键字,使用各种API和scraper提取大量数据,然后显示然后以表格的形式将该数据发送到客户端。显然,出于性能原因,我正在缓存所有这些。
我还没有完全了解Celery,并且想知道这是否是处理此任务的最佳方式。我需要将所有这些缓存到数据库中,所以我应该使用AMQP结果后端还是数据库结果后端?
另外,将任务状态更新发送到客户端(浏览器)的最佳方法是什么?如果可能,我希望能够将增量结果发送给客户端以便数据正在处理的过程中出现。