Question

我为map-reduce应用创建了一个自定义jar，并尝试在Amazon EMR作业流程中运行它。我在hadoop 1.0.4中编译了代码，但Amazon EMR支持Hadoop 1.0.3。我也在jdk 1.7下编译了代码，我不确定Amazon EMR使用哪个版本的java以及我们在哪里可以更改它？

这是stacktrace

Exception in thread "main" java.lang.UnsupportedClassVersionError: com/test/GWASMapReduce : Unsupported major.minor version 51.0
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:180)

Answer 1

Amazon EMR似乎不支持Java 7。您需要尝试编译jar以定位较旧的JVM：

javac -target 1.6 -cp .... etc

Answer 2

根据Muel，Amazon EMR不支持Java 7，截至目前，Amazon EMR支持1.0.3版，0.20.205版。

Answer 3

EMR平台仍然不支持Java 7，请参阅here

Answer 4

它现在支持了一段时间。最低版本是AMI版本2.4。见http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html

在Amazon EMR中运行hadoop jar

4 个答案: