我正在寻找一种将非平凡(10G> x> 10MB)数据量从一台机器传输到另一台机器的好方法,可能会在多个会话中传输。
我简要介绍了
是否有其他协议可能更适合该法案?上面的大部分内容本身并不是非常容错的,而是依靠客户端/服务器应用程序来弥补这一缺陷。在这个阶段,我更关心协议本身,而不是一个运行良好的特定客户端/服务器实现。
(我知道我可以用udp写自己的,但我更喜欢几乎所有其他的东西 !!)
答案 0 :(得分:5)
我使用rsync(通过SSH)传输我认为可能需要超过一分钟的任何内容。
速率限制,暂停/恢复和获取进度报告很容易。您可以使用SSH密钥自动执行它。它(通常)已经安装(无论如何都在* nix盒子上)。
根据您的需要,rsync可能会适应。如果您要分发给很多用户,FTP / HTTP可能更适合防火墙问题;但rsync非常适合一对一或一对一的转移。
答案 1 :(得分:4)
rsync几乎总是最好的选择。
因为它仅传输差异,如果传输被中断,下一次它将不会与第一次不同(当目的地没有文件时)
答案 2 :(得分:2)
BitTorrent不需要大型种子网络才能生效 - 它可以在一个播种机和一个对等体上正常工作。设置跟踪器等有一些开销,但是一旦设置它就会是一个很好的,快速的,容错的传输方法。
答案 3 :(得分:1)
嗯,HTTP是一个不错的选择,因为它支持使用byte ranges重新启动部分传输。 FTP或TFTP很好,因为您可以获得配置极其简单的服务器软件,而不必像HTTP服务器那样锁定。
答案 4 :(得分:1)
GridFTP是Argonne用来可靠地传输大量数据的。