Question

我正在浏览Hadoop网站，并找到了以下Hadoop流的链接。

https://hadoop.apache.org/docs/current1/streaming.html

但是，我对Hadoop YARN（MRv2）-流式命令行选项更感兴趣。

如果某人有详尽的名单，您可以在此处发布吗？

如果找不到，请告诉我以下命令中的任何命令行选项是否非法。

yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -D mapred.jab.name="Streaming wordCount Rating" \
    -D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
    -D map.output.key.field.separator=\t \
    -D mapreduce.partition.keycomparator.options=-k2,2nr \
    -D mapreduce.job.reduces=${NUM_REDUCERS} \
    -files mapper2.py,reducer2.py \
    -mapper "python mapper2.py" \
    -reducer "python reducer2.py" \
    -input ${OUT_DIR} \
    -output ${OUT_DIR_2} > /dev/null

Answer 1

如果要查看所有Hadoop流式传输命令行选项，请参考StreamJob.java - setupOptions()：

    allOptions = new Options().
      addOption(input).
      addOption(output).
      addOption(mapper).
      addOption(combiner).
      addOption(reducer).
      addOption(file).
      addOption(dfs).
      addOption(additionalconfspec).
      addOption(inputformat).
      addOption(outputformat).
      addOption(partitioner).
      addOption(numReduceTasks).
      addOption(inputreader).
      addOption(mapDebug).
      addOption(reduceDebug).
      addOption(jobconf).
      addOption(cmdenv).
      addOption(cacheFile).
      addOption(cacheArchive).
      addOption(io).
      addOption(background).
      addOption(verbose).
      addOption(info).
      addOption(debug).
      addOption(help).
      addOption(lazyOutput);

与MapReduce相关的选项是所有MapReduce应用程序的常规选项，要查看它们是否有效，请查看mapred-default.xml配置变量。仅供参考：这是指Hadoop 2.8.0，因此您可能需要为您的Hadoop版本找到合适的XML。

Hadoop YARN版本可以使用的流式命令行选项的完整列表是什么？

1 个答案: