用Apache pig递归列出目录

时间:2014-06-03 08:33:15

标签: apache-pig

有没有办法以递归方式列出特定目录中的所有文件,只使用pig嵌入式函数? bash 中的等效值为ls -R

存在ls命令,但它没有参数。

我知道它可能很容易在java中实现,但如果可能的话宁愿避免使用它。

1 个答案:

答案 0 :(得分:3)

以递归方式列出hdfs中的目录: fs -lsr

在本地文件系统中,您可以使用sh来运行任何shell命令。

http://pig.apache.org/docs/r0.12.0/cmds.html#fshttp://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-common/FileSystemShell.html