我花了太多时间试图找到如何正确设置类路径及其在通过AWS EMR的Java API提交mapreduce作业时的优先级。文档似乎没有提供任何细节,我没有成功通过谷歌搜索几天找到任何适当的例子。有人可以帮助正确设置类路径吗?
基本问题是我的代码使用了各种java库(例如guava版本> = 17),并且创建的EMR集群上可用的库的默认版本是非常旧的版本,我想提供新版本这些罐子对我的工作:假设我在所有位置都有所需的罐子" / home / hadoop / lib /"。如何将这些设置为首选版本(或替换默认路径中的版本)?
我尝试了各种方法,但没有成功:设置" HADOOP_CLASSPATH" in" hadoop-env"分类和" mapreduce.application.classpath"在" mapred-site"在创建集群时通过JSON配置进行分类。
此外,是否有可以设置的各种有效环境变量的某个列表?