使用带有hadoop的java系统属性

Question

我正在尝试运行一个简单的hadoop作业，

hadoop jar /root/ravi/ConvertDataWithHadoopOne.jar   com.mdotm.recommender.ConvertDataWithHadoopOne -Dmapred.job.priority=VERY_HIGH   /mdotm/observationtotal/2012-11-18 /mdotm/recommendationsworkdir/recommendationinput/2012-11-18

然而，它将-Dmapred.job.priority=VERY_HIGH作为输入而不是系统属性，因此它失败了。

任何人都可以帮助我做错了吗？ Ť 绞纱。

Answer 1

在hadoop conf目录中，将所需的JVM args添加到hadoop-env.sh。这样的事情应该有效：

export HADOOP_OPTS="$HADOOP_OPTS -Dmapred.job.priority=VERY_HIGH"

http://hadoop.apache.org/docs/r0.18.3/cluster_setup.html#Configuration+Files

Answer 2

我找到答案如果想要使用系统属性，必须使用GenericsOptionsParser来处理参数。

可以在这里找到一个例子

http://hadoop.apache.org/docs/r0.20.0/api/org/apache/hadoop/util/GenericOptionsParser.html