我正在使用GNU Parallel从S3下载1000个文件到两个EC2主机(-S:,R),其中' R'是远程同伴的IP 使用--jobs 64,从S3下载64个文件(相当大的文件)需要很长时间:
time parallel --jobs 64 --joblog out.txt -S:,R --env HTTPS_PROXY --env S3_DIR "aws s3 cp ${S3_DIR}part-{}.gz /my/path/" ::: `seq -f "%05g" 0 1000`
结果,我得到了
Connection to R closed by remote host.
这是由于远程对等体上的sshd配置,我无法更改这些设置(机器不是我的。)
查看文档,我找不到像keep-alive这样的东西。我该如何解决这个问题?谢谢。
答案 0 :(得分:0)
您可能无法更改sshd_config,但通常会尊重ssh提供的选项:
ssh -o TCPKeepAlive ...
如果是这种情况,您可以使GNU Parallel使用不同的ssh命令:
parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo