在AWS EMR MapReduce作业中设置类路径和优先级

时间:2017-07-24 19:38:40

标签: java amazon-web-services hadoop classpath emr

我花了太多时间试图找到如何正确设置类路径及其在通过AWS EMR的Java API提交mapreduce作业时的优先级。文档似乎没有提供任何细节,我没有成功通过谷歌搜索几天找到任何适当的例子。有人可以帮助正确设置类路径吗?

基本问题是我的代码使用了各种java库(例如guava版本> = 17),并且创建的EMR集群上可用的库的默认版本是非常旧的版本,我想提供新版本这些罐子对我的工作:假设我在所有位置都有所需的罐子" / home / hadoop / lib /"。如何将这些设置为首选版本(或替换默认路径中的版本)?

我尝试了各种方法,但没有成功:设置" HADOOP_CLASSPATH" in" hadoop-env"分类和" mapreduce.application.classpath"在" mapred-site"在创建集群时通过JSON配置进行分类。

此外,是否有可以设置的各种有效环境变量的某个列表?

0 个答案:

没有答案