hadoop命令从hadoop中的目录获取最新的子目录名

时间:2015-12-31 19:54:58

标签: unix hadoop

如何在hadoop中找到目录中创建的最新子目录? 例如在hadoop中,如果我有一个名为mgm的目录,它有2个子目录1和2,如下所示:

/user/mgm/1
/user/mgm/2

我想知道首先创建了1或2中的哪一个。

hadoop fs -ls -t /user/mgm/ | head -1 

不适合我。它说"illegal option -t"

1 个答案:

答案 0 :(得分:3)

-t的{​​{1}}选项是针对Apache Hadoop 2.8.0的新功能,尚未发布。这在JIRA问题HADOOP-8934中得到了跟踪。我不确定为什么在ls文档中可以看到该选项。

同时,另一种选择是使用hdfs dfs -stat命令和包含修改时间的格式字符串。这是一个示例,演示了如何使用hdfs dfs -lshdfs dfs -stat标识为具有最新修改时间的子目录。

dir2
  

如何在hadoop中找到目录中创建的最新子目录?

请记住,所有这些功能都会引用修改时间,而不是创建时间。修改时间可以随着目录内容的改变而更新。如果你真的需要创造时间,那么请注意这一点。没有选项可以将创建时间的可见性视为与修改时间分开跟踪的值。