使用Queue()与python共享分布式应用程序中的文件

时间:2017-05-04 22:46:24

标签: python multiprocessing distributed-computing file-sharing

站长:

有多个文件需要为每个文件应用相同的功能,所以我将每个文件视为一个Job,并将它们放在一个Queue()中。

工人:

每个进程从共享队列中获取作业并处理其中的文件并返回已处理的文件。

我的问题是:

我是否必须将文件从master发送到worker或者只是与Queue()共享?

获取信息:此处的文件是视频序列。

1 个答案:

答案 0 :(得分:1)

你能在这里做的最好,顺便说一句,非常抽象,就是分享队列(),每个工人都会问“有事可做,否则他们睡觉(锁定)