如何将多个文件作为输入传递给MapReduce?

时间:2013-08-05 07:05:53

标签: mapreduce

我想使用两个文件作为MapReduce程序的输入。但使用*不能用作文件名模式。

2 个答案:

答案 0 :(得分:1)

我希望使用输入/应该做的伎俩。要开始使用,请尝试运行Wordcount示例:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

在本教程结束时,他们向您解释如何运行作业(它们在驻留在输入映射中的多个字典文件上运行)。

编辑:另外查看本教程使用分布式文件系统,通常需要在dfs中输入文件..

答案 1 :(得分:0)

它可以工作,它也适用于您的机器。你确定你要给的路径吗?是输入/ 190 * .txt 还是 /input/190*.txt 。请注意“/”。没有/的路径假定存在于 / user 中,其中带有/的路径直接存在于根目录下。

它也适用于mv(或任何其他HDFS命令)。