我在超级计算群集上有一个帐户,我已经使用例如一些软件安装了一些软件包。 " pip install --user keras"。
当使用qsub将作业提交到队列时,我尝试通过设置"导出PYTHONPATH = $ PYTHONPATH:[$ HOME] /。local / lib / python2.7来确保系统可以看到我的本地包。 /站点包/ keras"在剧本中。
但是,生成的日志文件仍然抱怨没有名为keras的软件包。如何确保系统找到我的包?
答案 0 :(得分:1)
如果您正在使用pbs professional,请尝试在您的环境中导出PYTHONPATH,然后使用qsub使用“-V”选项提交作业。这将使qsub获取所有环境变量并将其导出为作业。
否则,尝试使用选项“-v”(注意小v)进行设置,然后将环境变量键/值对与qsub -v HOME=/home/user job.sh
答案 1 :(得分:1)
是否可以从计算节点访问python包?如果不是,则解决方案是您需要安装它们。
一旦可以访问软件包,就应该正确设置环境。对于Torque,您可以使用-V和or -v在每个作业的基础上设置环境。 -V选项将作业提交的环境导出到作业。如果你想发送一些变量,-v可能会照顾你:
qsub script.sh -v PYTHONPATH=<desiredpath>[,var2name=var2value[,...]]