Question

我正在使用scp从我的EC2实例下载数百万个小文件（100 - 1000 kb）文件。 scp似乎一次传输一个文件，并没有充分利用我的1 gbps连接。

是否有更有效的方式下载文件？由于各种技术原因，实现和下载不是一种选择。

Answer 1

看看rsync。它也可以通过ssh工作。

Answer 2

如果您仍然可以使用tar但无法在远程主机上创建tarball，则可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用v选项tar或pipe viewer获取有关转移的反馈。

如果上述选项不是，请尝试并行运行多个（十几个）scp以减少许多小文件引起的开销的影响。

（还要确保文件系统不是瓶颈。）