标签: bash shuffle gnu-coreutils
我正在使用bash和shuf来洗牌4亿行文件,当我直接操作文件时花了大约两个小时。
因为这对我来说有点长,我不得不重复这个改组,我将文件分成大约400个1x10 ^ 6行的卡盘,并在洗牌后将它们拼在一起。
即使使用分割操作和猫只需要短短10分钟。有人能帮助我理解这个糟糕的缩放吗?
非常感谢!