读取远程计算机中文件的最快方法

Question

我想找到一种在远程机器中读取文件的最快方法。

我想要的远程I / O方式

要求是：

1. 机器B从机器A中的磁盘A读取文件（或页面）。
2. 用于快速传输，重叠DiskI / O和网络I / O.
3. 文件大小是一个页面（可能是64KB~4MB）
4. 我不想使用NFS，FTP或类似的东西。

环境是：

1. 我有100台机器在同一个房间。
2. 所有机器都通过Infiniband连接（带宽：1GB / s~1.5GB / s），所以我可以使用 RDMA ！
3. 每台机器都配有Intel PCI-E SSD（顺序读取带宽1.0GB / s~1.5 GB / s）
4. 操作系统是CentOS 6.4

有没有图书馆或实施方式？ 我听说过MPI I / O，但我不确切地知道它是什么。

请帮帮我。 谢谢

Answer 1

你通常不应该关心。 （硬件）网络总是成为瓶颈。尝试使用最快的网络硬件。

大多数网络（以太网，有线）连接是1Gbits /秒（这些都是便宜的）。只有当两台计算机在物理上靠近（同一房间或建筑物）时，以及在没有加载的网络上，您才能获得该速度。

您可能花费数百欧元或美元购买10Gbps的以太网卡。你需要两个（每边一个）。甚至这么快的以太网也比磁盘或SSD慢得多......

没有软件解决方案能够避免网络瓶颈。标准的，配置良好的ftp连接能够使网络饱和（几个百分点内）。本地文件数据通常在page cache中（因此有更多RAM可能会略微帮助提高性能）。

MPI与您的情况无关。

如果你负担得起，购买两个10Gb / s以太网卡并使用SSD。软件并不重要。硬件是瓶颈。

PS。当然它们是例外（例如将文件传输到火星上的机器人）。但是你仍然需要在你的问题中解释更多你的约束。