提取HDFS文件夹或文件详细信息

时间:2019-12-16 10:16:10

标签: hadoop hdfs hiveql

要使用hive查找在任何时间点HDFS目录中存在的文件数,我创建了一个hive外部表。有人可以帮我提取HDFS中存在的目录的文件详细信息吗,因为INPUT__FILE__NAMEhdfs dfs -stat达不到我的目的,我希望将所有-ls放入{ {1}}文件。

2 个答案:

答案 0 :(得分:0)

不建议使用ls的输出,因此不建议这样做。话虽这么说,这不是正常的ls,所以也许别无选择。

您可以将其输出放在如下文件中:

hadoop fs -ls /path > output.txt

答案 1 :(得分:0)

您还可以使用hdfs在所有数据库中查找表:

配置单元数据库的路径为:

/ apps / hive / warehouse / 因此,通过使用hdfs:

hdfs dfs -find / apps / hive / warehouse / -name t *

hadoop fs -ls / path