如何在HDFS文件中搜索

时间:2018-04-27 19:48:07

标签: hadoop grep hdfs

我希望能够在HDFS中的特定目录中的所有文件夹和文件中搜索字符串模式。不知道怎么做。下面不起作用。

hadoop fs -ls -R /folder_path/ |grep -i "pattern"

我如何搜索?。

1 个答案:

答案 0 :(得分:0)

对于单个HDFS文件夹中的文件,您可以使用hadoop fs -cat命令。但这不会在子文件夹中搜索。

为了说明,如果文件位于名为/hive-data的HDFS文件夹中,则可以使用以下命令在目录中的文件中搜索模式:

hadoop fs -cat /hive-data/* | grep -i pattern