尊敬的Stackoverflow社区,
我正在尝试以这种方式使用并行:
find /root/Output/ -type f -name *.out | parallel --pipe --round-robin -j 9 programm.py --worker_threads 72 -o output_dir
我想将每个作业的输出保存到单独的目录中。 以这种方式并行运行,programm.py将来自不同作业的结果写入同一目录/文件中,从而导致我需要进行下游分析的特定文件中的某些行出现问题。
我该如何实现? 预先感谢您的帮助
答案 0 :(得分:1)
根据职位编号{#}
为每个职位创建一个目录,也许是:
find ... | parallel --pipe --round-robin -j 9 'mkdir -p {#} ; cd {#} ; programm.py --worker_threads 72'