为什么coreutils的shuf规模如此之大?

时间:2017-06-20 13:52:37

标签: bash shuffle gnu-coreutils

我正在使用bash和shuf来洗牌4亿行文件,当我直接操作文件时花了大约两个小时。

因为这对我来说有点长,我不得不重复这个改组,我将文件分成大约400个1x10 ^ 6行的卡盘,并在洗牌后将它们拼在一起。

即使使用分割操作和猫只需要短短10分钟。有人能帮助我理解这个糟糕的缩放吗?

非常感谢!

0 个答案:

没有答案