如何从HDFS的目录结构中删除所有文件？

Question

我正在寻找清理环境的方法。我想递归执行以下命令，而无需对每个子文件夹进行硬编码。因为我在HDFS目录中有数百个子文件夹。

hadoop fs -rm -r /a/b1/c1/d1.txt

hadoop fs -rm -r /a/b2/c2/d2.txt

hadoop fs -rm -r /a/b3/c3/d3.txt

hadoop fs -rm -r /a/bn/cn/dn.txt

我要删除所有文件，但不删除目录或子目录。我不确定如何使用递归命令将目录结构保留在HDFS中，同时删除其中的所有文件。

Answer 1

hadoop fs -ls -R /directory/structure/ | grep "\.json" | awk '{print $8}' | xargs -I{} hadoop fs -rm "{}"