如何在hadoop map job中访问目录中的文件？

Question

for(FileStatus status : status_list)
{
  FileInputFormat.addInputPath(job5, status.getPath());
}

我想知道我在输入路径中添加了目录文件。现在，我如何在hadoop地图中使用？

Answer 1

您需要使用MultipleInputs类而不是FileInputFormat。框架工作将负责为您的映射器的每个文件生成密钥，值对。