Amazon EMR:将java系统属性传递给自定义jar

时间:2013-09-02 15:44:27

标签: java hadoop amazon-emr system-properties

Amazon EMR是否允许将系统属性传递给自定义jar,例如hadoop jar -Dkey=value myjob.jar? (keyvalue在应用程序本身初始化期间使用,而不是属于hadoop的Configuration对象。)

相关的线程How to specify mapred configurations & java options with custom jar in CLI using Amazon's EMR?讨论了仅通过Bootstrap Actions将系统属性传递给hadoop守护进程的方法,显然,它不允许对java入口点类执行相同操作。

1 个答案:

答案 0 :(得分:1)

如果您不想传递给映射器或缩减器,可以在终端或脚本中执行以下操作 -

export HADOOP_OPTS="-Dkey=value"
hadoop jar ...

如果您希望将它们放在每个作业中,您也可以将它们放在$HADOOP_HOME/conf/hadoop-env.sh中,而无需在每次运行作业时明确定义它们。

希望这是有道理的。