标签： celery python-multiprocessing celery-task
问题：
我有几个celery任务正在处理大文件（大小从500MB到1GB）。有多个任务处理同一个文件（多种处理类型）。处理同一文件的任务可以在不同的计算机上运行。该文件仅需在每个节点上下载。某些任务可以共享资源。我该如何实现？
想法：
在所有节点上安装相同的网络存储。
一个处理任务是在处理之前下载文件。其他处理任务将等待。他们如何等待？ ->可能发出信号或轮询文件更改
问题：节点位于不同的位置/网络（可能由于流量难于安装且效率不高）
那么您认为最好的方法是什么？