如何使用unix命令(比如在HUGE文件中使用cut和awk进行单线程)使用所有16个内核而不是1个内核?这不是我可以使用-j并指定要使用的CPU数量的程序......
答案 0 :(得分:3)
您是否尝试过并行化GNU并行作业?见http://www.gnu.org/software/parallel/
答案 1 :(得分:1)
一种可能的方法是将输入文件拆分为多个部分,然后为每个部分启动单独的shell管道。多个进程将占用多个核心。
答案 2 :(得分:0)
如果在同一个管道中使用 cut
和awk
,它们可能会在不同的CPU上运行,因此您将使用其中的两个。没有一种简单的方法来设置像这样的短流水线来使用比流水线中的步骤数量更多的CPU。