用于反向模式搜索的Hadoop hdfs shell命令

时间:2016-06-29 11:36:28

标签: unix hadoop hdfs

我想知道我们是否可以使用与给定模式不匹配的文件列出HDFS目录中的文件。

例如,假设我有一些名称包含某些日期值的文件[例如:' file201606250001.csv']。

如果我需要获取不属于日期模式的文件列表,请说' * 20160629 *',我可以使用哪个命令?

我尝试提供以下命令,但它仍然列出了所有文件(包括与我想要排除的模式匹配的文件)。

hdfs dfs -ls /test/* | grep -v '*20160629*'

我尝试了here给出的解决方案,但它仍会返回所有文件。

1 个答案:

答案 0 :(得分:1)

首先列出文件,然后列出grep以外的模式(-v选项)

hadoop fs -ls /dir/path/to/search |grep -v '20160629'