GNU Parallel:保持连接活着

时间:2014-10-23 18:21:24

标签: amazon-ec2 amazon-s3 gnu-parallel

我正在使用GNU Parallel从S3下载1000个文件到两个EC2主机(-S:,R),其中' R'是远程同伴的IP 使用--jobs 64,从S3下载64个文件(相当大的文件)需要很长时间:

time parallel --jobs 64 --joblog out.txt -S:,R --env HTTPS_PROXY --env S3_DIR "aws s3 cp ${S3_DIR}part-{}.gz /my/path/" ::: `seq -f "%05g" 0 1000`

结果,我得到了

Connection to R closed by remote host.

这是由于远程对等体上的sshd配置,我无法更改这些设置(机器不是我的。)

查看文档,我找不到像keep-alive这样的东西。我该如何解决这个问题?谢谢。

1 个答案:

答案 0 :(得分:0)

您可能无法更改sshd_config,但通常会尊重ssh提供的选项:

ssh -o TCPKeepAlive ...

如果是这种情况,您可以使GNU Parallel使用不同的ssh命令:

parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo