如何获取最新的HDFS文件系统

Question

我的hdfs文件系统低于

Code:
/user/home/dte=2019_01_30/part_1
/user/home/dte=2019_01_30/part_2
/user/home/dte=2019_01_31/part_1

我需要在传递日期作为参数的同时获取最新的月份hdfs文件夹。 例如。如果我作为2月通过，即20190201（YYYYMMDD），则需要通过读取上述hdfs目录来将输出作为2019_01_31。我还需要检查是否有任何数据，然后将dte作为2019_01_31。例如/ user / home / dte = 2019_01_31 / part_1应该大于0 KB文件

我被打中的尝试

Unix和Hadoop

final_cnt =`hadoop fs -cat /user/home/dte=2019_01_31/part_1 | wc -l`
if [ $final_cnt >1 ]
then
finat_dte = `hdfs dfs -ls -R /user/home/dte=2019_01_31/ | grep  "^-" | tr -s " " | cut -d' ' -f6-8 | `