Amazon EMR是否允许将系统属性传递给自定义jar,例如hadoop jar -Dkey=value myjob.jar
? (key
,value
在应用程序本身初始化期间使用,而不是属于hadoop的Configuration
对象。)
相关的线程How to specify mapred configurations & java options with custom jar in CLI using Amazon's EMR?讨论了仅通过Bootstrap Actions将系统属性传递给hadoop守护进程的方法,显然,它不允许对java入口点类执行相同操作。
答案 0 :(得分:1)
如果您不想传递给映射器或缩减器,可以在终端或脚本中执行以下操作 -
export HADOOP_OPTS="-Dkey=value"
hadoop jar ...
如果您希望将它们放在每个作业中,您也可以将它们放在$HADOOP_HOME/conf/hadoop-env.sh
中,而无需在每次运行作业时明确定义它们。
希望这是有道理的。