向LSF提交长命令的最佳实践

Question

我在LSF中使用bsub向集群提交作业。我的命令调用第三方软件并包含一长串文件以及其他参数（大约8000个字符）。

直接提交这样的长命令是否安全或者是否会被截断？我应该将命令保存到文件然后调用bsub sh command.sh吗？

提交此类长命令的最佳做法是什么。

由于

Answer 1

LSF（我所知道的）没有特殊限制，它会直接截断整个命令行。但是，您可能需要考虑一些事项：

1. 运行bsub命令的shell可能会对您可以提交的命令的总长度施加限制。这通常受操作系统限制的控制，有很多关于它在互联网上浮动的问题。 Here is one example显示了几种确定系统限制的方法。在链接断开的情况下，最佳答案建议使用xargs --show-limits，而另一种方法是检查getconf ARG_MAX
2. 接受字符串作为输入的某些bsub选项可能会限制可传递给它们的字符串的长度。例如，-R选项可以接受512个字符的字符串 - 在大多数情况下，我认为如果参数太长，LSF将拒绝该作业（但我不能保证确定是否这样做＆＃39;所有这些都是如此）。