在zip文件上分发大量金额的最佳方式

Question

我在分布式计算方面有很多经验，但我想在python中创建一个脚本，将解压缩作业集中分配给x个服务器，这样我就可以免于定期登录分发解压缩作业的多个服务器的麻烦在文件共享上。

这类任务的最佳工具是什么，我希望将来能够使用hadoop，但我不太了解并且认为这可能不适合这项工作。我看到一些暗示zeromq的类似帖子。只是寻找关于什么工具真正最适合这样的工作的建议。

Answer 1

当您解压缩文件时，I / O界限通常是问题，而不是CPU。因此，登录到多个服务器以解压缩同一共享上的文件只会插入托管该共享的（文件）服务器的网络连接。

另一方面，如果您尝试在不同的服务器上解压缩相同的文件，则根本不需要python。查看pssh命令及其亲属。