如何使unix命令使用多个CPU

时间:2011-04-26 20:41:56

标签: unix command cpu processor

如何使用unix命令(比如在HUGE文件中使用cut和awk进行单线程)使用所有16​​个内核而不是1个内核?这不是我可以使用-j并指定要使用的CPU数量的程序......

3 个答案:

答案 0 :(得分:3)

您是否尝试过并行化GNU并行作业?见http://www.gnu.org/software/parallel/

答案 1 :(得分:1)

一种可能的方法是将输入文件拆分为多个部分,然后为每个部分启动单独的shell管道。多个进程将占用多个核心。

答案 2 :(得分:0)

如果在同一个管道中使用 cutawk,它们可能会在不同的CPU上运行,因此您将使用其中的两个。没有一种简单的方法来设置像这样的短流水线来使用比流水线中的步骤数量更多的CPU。