读取远程计算机中文件的最快方法

时间:2016-05-26 10:37:06

标签: io mpi system-calls disk

我想找到一种在远程机器中读取文件的最快方法。

我想要的远程I / O方式

enter image description here

要求是:

  1. 机器B从机器A中的磁盘A读取文件(或页面)。
  2. 用于快速传输,重叠DiskI / O和网络I / O.
  3. 文件大小是一个页面(可能是64KB~4MB)
  4. 我不想使用NFS,FTP或类似的东西。
  5. 环境是:

    1. 我有100台机器在同一个房间。
    2. 所有机器都通过Infiniband连接(带宽:1GB / s~1.5GB / s),所以我可以使用 RDMA
    3. 每台机器都配有Intel PCI-E SSD(顺序读取带宽1.0GB / s~1.5 GB / s)
    4. 操作系统是CentOS 6.4
    5. 有没有图书馆或实施方式? 我听说过MPI I / O,但我不确切地知道它是什么。

      请帮帮我。 谢谢

1 个答案:

答案 0 :(得分:-1)

通常不应该关心。 (硬件)网络总是成为瓶颈。尝试使用最快的网络硬件。

大多数网络(以太网,有线)连接是1Gbits /秒(这些都是便宜的)。只有当两台计算机在物理上靠近(同一房间或建筑物)时,以及在没有加载的网络上,您才能获得该速度。

您可能花费数百欧元或美元购买10Gbps的以太网卡。你需要两个(每边一个)。甚至这么快的以太网也比磁盘或SSD慢得多......

没有软件解决方案能够避免网络瓶颈。标准的,配置良好的ftp连接能够使网络饱和(几个百分点内)。本地文件数据通常在page cache中(因此有更多RAM可能会略微帮助提高性能)。

MPI与您的情况无关。

如果你负担得起,购买两个10Gb / s以太网卡并使用SSD。软件并不重要。硬件是瓶颈。

PS。当然它们是例外(例如将文件传输到火星上的机器人)。但是你仍然需要在你的问题中解释更多你的约束。