如何从更大带宽的ENA下载数据文件？

Question

您好，我尝试使用以下循环命令从ENA ftp服务器下载大约4000个Fastq文件：

while read i; do n=$(echo "$i" | sed -E 's/(SRR...).*/\1/'); wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/$n/$i/$i*; done  < IDS.txt 

但是我有20 mb的下载带宽，但是当我即时下载时，下载速度仅为100–350 kbs，因此下载数据需要花费很多时间。有人对阿斯佩拉有想法吗？或其他任何人可以帮助或推荐的东西？

Answer 1

有两个可能的原因导致您发现带宽使用率低于总可用带宽：

1. 您的ISP会根据每个连接限制您的带宽。也就是说，每个HTTP（S）连接都有限制的带宽。在这种情况下，使用多个线程/进程可能非常有用。为此，我建议使用GNU Wget2。 Wget2是使用多线程支持编写的Wget的下一版本。它仍处于Alpha阶段，但我们认为它已经为公共使用做好了准备。
2. 服务器的带宽受到限制。如果服务器限制了总带宽，那么您无能为力，无法提高速度。

全面披露：我是GNU Wget和GNU Wget2的维护者。