芹菜从不同的计算机读取文件

Question

我有一个程序输出文件。我使用celery输出两台并行计算机的文件，因此输出文件将分布在两台计算机上。如何从这两台计算机中编写程序读取文件？

Answer 1

这个问题缺乏细节。

我猜你需要分布式文件系统，两台计算机都可以使用它。有很多解决方案：MongoDB中的GridFS，Hadoop中的HDFS。您还可以尝试更简单的解决方案，如SSHFS。在这种情况下，您的一台服务器将连接到其他服务器文件系统。如果您不担心一致性，rsync可以克隆远程目录。