合并大量文件并立即删除它们

Question

我正在尝试将不同目录中的大量文件（约20k）串联到一个大文件中。

问题在于文件的全局大小约为40G，驱动器上没有足够的空间来存储第二个40G文件。我计划运行一个简单的脚本，该脚本会将cat和rm文件删除到空白空间。

#!/usr/bin/bash

for file in library/*/*
do
    echo $file
    cat $file >> teeest
    rm $file
done

我在一个小的测试样本上尝试了它，看来效果很好。但是我有点担心>>和内存使用情况。

由于我将立即删除一个串联文件，因此我想确保它不会在中途崩溃，因为它用完了内存，因为我在脚本中犯了一个错误或未曾想到的东西。

我正在使用的计算机具有64GB的RAM和16个内核。 感谢您的帮助：）