色彩步骤中的Mapreduce工作不明确

时间:2014-04-06 09:10:35

标签: hadoop mapreduce

我正在尝试在色调中运行mapreduce作业。我按照以下步骤操作:

  Fill out the Edit Node form
    1)Enter ooziemrwf as the name, and "oozie MapReduce workflow" as the description.

   2) Navigate to the JAR file location and upload the JAR file.

   3) Click the Add Property button and add each of these four properties: 
    Property Name
    Value
    mapred.mapper.class org.apache.oozie.example.SampleMapper
    mapred.reducer.class    org.apache.oozie.example.SampleReducer
    mapred.output.dir   /user/mapr/mapreducejob/wfoutput
    mapred.input.dir    /oozie/examples/input-data/text

   4) Navigate to the JAR file and select it as the input path.

    5)Click Done. The MapReduce action appears in the workflow.

   6) Click Save.

Under Actions in the navigation panel, click Submit. When the Submit this job? dialog appears, click Submit.

我上传了工作jar添加的属性,我无法理解第4步ieNavigate到JAR文件并选择它作为输入路径。有人可以告诉那究竟是什么?你可以参考http://doc.mapr.com/display/MapR/Working+with+Hue

1 个答案:

答案 0 :(得分:2)

此时不确定您是否能够“运行”任何内容。 有很多事情可能会出错。

我假设你正在使用HUE来创建Job Def。

  1. 检查map-reduce运行器是否能够复制hadoop集群上的目录。这通常意味着您在HDFS中具有/ var / tmp / oozie目录(具有正确的用户/组权限)。如果目录丢失,则会出现问题。
  2. 如果您正在使用MapReduce2 vs mapred,那么Yarn尝试混合mapred和mapreduce包时可能会出现问题。在这种情况下,最好的选择是从HUE作为“java”作业运行,然后你可以明确地管理它是MapReduce或mapred的天气。
  3. 包含运行中的一些输入和一些输出。显示你的工作def和输出错误会有所帮助。