我有一个hadoop文件夹,其中可以包含1000个文件,如下所示:
/data/file1.dat
/data/file2.dat
/data/file3.dat
/data/file4.dat
/data/file5.dat
......等等
与此文件夹同时被其他进程写入时,正在写入的文件的名称以点开头:
/data/.file6.dat
/data/.file7.dat
完成对这些文件的写入后,点将被删除。 我使用一个Scala脚本,该脚本读取第一组文件名并存储在列表中,然后迭代并删除这些文件,但是此过程需要很长时间才能单独删除每个文件,我尝试一次删除所有文件,但出现错误那参数列表太长了,所以我想做的是删除第一个参数集,同时保留所有在读取初始参数集之后写入的文件。
谢谢