标签: cluster-computing qsub bzip2
我正在通过qsub引擎提交作业的群集。 我一次最多可以获得72小时的计算时间。我的模拟输出是一个文件夹,通常包含大约1000个文件(大约10 Gb)。我在71h30m的模拟后复制了我的输出。这意味着在71h30m(+复制时间?)之后生成的所有内容都将丢失。有没有办法让流程更有效率,而不必手动估算复制输出所需的时间?
qsub
在复制我的输出之前,我使用bzip2压缩文件,用于执行此操作的资源是什么?我应该问一个节点比运行模拟只需要压缩文件所需的节点多吗?
bzip2