我正在尝试通过他们的lsf系统在服务器上运行脚本来提交作业。当我在不使用bsub的情况下运行wget时,wget成功下载了我想要的文件。但是,当我在bsub中运行相同的命令时,作业会运行,但无论我允许作业运行多长时间,wget都会卡住(下载文件只需要大约10秒)。以下是我运行的命令:
wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one runs no problems.
bsub -q short -J wgettest -oo wtest.out -eo wtest.err wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one does not work. :(
作业的stderr文件如下
- 2012-07-05 20:57:59-- ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA192 38 / sequence_read / ERR000018.filt.fastq.gz => `ERR000018.filt.fastq.gz” 解决ftp-trace.ncbi.nih.gov ... 130.14.250.10 连接到ftp-trace.ncbi.nih.gov | 130.14.250.10 |:21 ...已连接。 以匿名身份登录... 登录不正确。
有没有人有任何建议?提前谢谢。
答案 0 :(得分:0)
执行命令的机器很可能没有Internet访问权限。
命令在资源分配后的节点上运行。
检查您是否有可以与系统耦合的代理,然后通过它执行wget。
答案 1 :(得分:0)
在beowulf群集中,工作节点与外部网络隔离是标准做法。当您使用bsub提交时,您的作业正在工作节点上运行,因此它将无法访问Internet。这就是您必须始终通过其中一个头节点建立与群集的连接的原因。通常,您应该在提交作业之前在头节点(没有bsub)上手动下载任何所需的文件。如果您必须能够从工作节点下载某些内容,则可能会进行某种隧道连接,但您必须与集群管理员讨论此问题。