除了修改hadoop-env.sh之外，如何在hadoop中指定系统属性？

Question

我想在运行hadoop作业时设置系统属性（而不是hadoop属性）。我发现设置系统属性并不容易。甚至我在shell中设置了属性

export HADOOP_OPTS="$HADOOP_OPTS:-Dproperty=value"

它仍然无效。 hadoop命令行的“-D”选项仅适用于Configuration，而不适用于系统属性。所以“-D”选项也无法正常工作

有人有想法吗？感谢

Answer 1

为什么不在命令行启动作业时简单地使用-Dfoo.bar=example，如下所示：

hadoop jar example.jar com.example.ExampleTool -Dfoo.bar=example argument

要在代码中获取属性，请使用conf.get("foo.bar");

---

现在，如果你真的需要将它设置为系统属性，你可以使用从Hadoop配置获得的值在代码的开头设置它，如下所示：

String property = conf.get("foo.bar");
System.setProperty("foo.bar", property);

Answer 2

hadoop脚本像这样调用java类

exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

所以，我们可以像这样传递系统范围的属性：

export HADOOP_OPTS="$HADOOP_OPTS -Dfoo=bar"

Answer 3

检查系统属性和环境变量之间的区别以及如何设置它们here。