处理安装路径的速度

时间:2014-11-26 08:48:34

标签: linux unix networking network-programming distributed-computing

我有两个场景。

场景1:计算机A包含1000个文档作为文件夹。机器A的这个文件夹安装在机器B中。我在机器B的这些文件夹中处理文件,并将输出结果存储在机器B的安装路径中。

场景2:机器A中的文档直接复制到机器B中并进行处理

场景2比场景1快得多。我可以猜测它,因为两台机器之间的网络上没有数据传输。有没有办法可以使用安装并仍能获得更好的性能?

1 个答案:

答案 0 :(得分:1)

您是否尝试启用缓存? - 对于NFS:https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Storage_Administration_Guide/fscachenfs.html - 默认情况下CIFS应启用缓存(除非您禁用了它)

另一种选择是使用Windows的脱机文件,它在后台在客户端和服务器之间复制文件和文件夹,因此您无需处理它。我发现的唯一的东西是OFS

但性能取决于文件的大小以及是否随机或顺序读取它们。例如,当我对视频进行编码时,我会立即通过网络从我的NFS访问该文件,因为它需要花费尽可能多的时间来读取和写入文件。这样就不会在编码上“浪费”额外的时间,因为应用程序可以对来自网络的流进行编码。

因此,对于大文件,您可能希望将算法更改为顺序读取,另一方面,在几秒钟内复制的小文件也可以使用rsync,bittorrent sync,dropbox或其中一个在服务器和客户端之间同步。其他数百种工具。这实际上是非常普遍的。