在mapper中运行hdfs -text命令并使用输出

Question

有没有办法在mapper中运行hadoop命令？

例如我想要运行

hdfs dfs -text /path/to/file 

我会将该输出用于我的映射器逻辑。还是有替代方案吗？

例如将命令hdfs dfs -text /path/to/file作为带有Java的子进程运行

Answer 1

最好是使用Java HDFS API打开HDFS文件并将内容读入您可以使用的变量中。

例如：

InputStream is = FileSystem.get(yourConfigurationObject).open(new Path("/path/to/file"));