我想知道我们是否可以使用与给定模式不匹配的文件列出HDFS目录中的文件。
例如,假设我有一些名称包含某些日期值的文件[例如:' file201606250001.csv']。
如果我需要获取不属于日期模式的文件列表,请说' * 20160629 *',我可以使用哪个命令?
我尝试提供以下命令,但它仍然列出了所有文件(包括与我想要排除的模式匹配的文件)。
hdfs dfs -ls /test/* | grep -v '*20160629*'
我尝试了here给出的解决方案,但它仍会返回所有文件。
答案 0 :(得分:1)
首先列出文件,然后列出grep
以外的模式(-v
选项)
hadoop fs -ls /dir/path/to/search |grep -v '20160629'