如何在本地文件系统中的文件上运行map / reduce？

Question

如何在本地文件系统中可用的文件上运行Java map / reduce作业？例如，我有一个3节点集群，并且所有节点在其本地文件系统中都有一个日志文件，比如/home/log/log.txt。

如何在这些文件上运行作业？在运行作业之前，我是否需要将它们组合并将其传输到HDFS？

感谢。

Answer 1

您可以将所有单个文件上传到一个文件夹下，并将该文件夹路径作为map reduce程序的输入路径。您的Map Reduce将在该文件夹中的所有文件上运行。