在HDFS中查找和删除零字节文件

Question

我需要编写一个bash脚本，以帮助我查找和删除hdfs中的所有零字节文件。

我尝试使用此命令

hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm

但是，它无法找到所有文件。

有没有更好的方法来实现这一目标。

Answer 1

尝试使用此：

for f in $(hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done