从MapReduce获取Azure Blob路径

Question

在Hadoop中，我们可以将地图输入文件路径作为;

Path pt = new Path(((FileSplit) context.getInputSplit()).getPath().toString());

但我找不到任何文档如何从Azure Blob存储帐户实现此目的。有没有办法从mapreduce程序中获取Azure Blob路径？

Answer 1

如果您想获取mapper或reducer当前进程的输入文件路径，那么您的代码是通过MapContext / ReduceContext获取路径的唯一方法。

如果没有，要获取core-site.xml文件中定义的容器的文件列表，请尝试以下代码。

Configuration configuration = new Configuration();
FileSystem hdfs = FileSystem.get(configuration);
Path home = hdfs.getHomeDirectory();
FileStatus[] files = hdfs.listStatus(home);

希望它有所帮助。