更快捷的方式将大文件分割成较小的文件？

Question

我有一个大约6.5 GB的小文件，我尝试使用split -d -line--bytes=5MB将其拆分为大小为5MB的文件。我花了6分多钟来分割这个文件。 我的文件超过1TB。 有更快的方法吗？

Answer 1

比专门设计用于完成此类工作的工具更快？在一般情况下听起来不太可能。但是，您可以做一些事情：

• 将输出文件保存到其他物理存储单元。这样可以避免同时读取和写入同一磁盘的数据，从而实现更多不间断的处理。
• 如果记录大小是静态的，您可以使用--bytes来避免处理完整行的处理开销。