带有HAR文件输入的MapReduce作业

时间:2015-10-26 02:51:11

标签: hadoop mapreduce hdfs har

我创建了一个包含多个小输入文件的HAR文件。要使用单个输入文件运行map reduce作业,这将是命令:

hadoop jar <jarname> <packagename.classname> <input> <output>

但是,如果以上<input>是一个HAR文件,那么命令是什么,以便HAR文件的所有内容都被视为输入?

1 个答案:

答案 0 :(得分:2)

如果输入是HAR文件,那么在输入位置必须给出以下内容

har:///hdfs path to har file

由于hadoop档案将作为文件系统公开,因此mapreduce将能够使用hadoop档案中的所有文件作为输入。