在Cloudera VM中使用spark2-submit运行Scala jar文件时获取UnsupportedClassVersionError

时间:2017-06-15 05:13:32

标签: scala apache-spark spark-streaming azure-eventhub cloudera-quickstart-vm

我尝试在本地安装的具有单个节点的Cloudera VM中运行涉及Azure事件中心的Scala项目from here。我使用的是CDH 5.10。我使用sbt 0.13.15构建了jar文件,该文件使用Openjdk 1.8.0。此外,我的VM中安装了Oracle Jdk 1.8,我认为运行jar文件时spark2正在使用它。 VM最初没有spark2。我使用Cloudera Manager 5.11升级了它。

项目运行后我收到以下错误:

java.lang.UnsupportedClassVersionError: com/microsoft/azure/eventhubs/EventData : Unsupported major.minor version 52.0

提交作业后控制台中显示的错误我认为然后代码类型挂起。 我在构建jar时将jvm版本强制为1.8。我的完整build.sbt -

name := "AzureGeoLogProject"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.scala-lang" % "scala-library" % "2.11.8"

libraryDependencies += "com.microsoft.azure" % "spark-streaming-eventhubs_2.11" % "2.0.3"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.2"

libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.2"

libraryDependencies +=  "org.apache.spark" % "spark-streaming_2.11" % "2.0.2"

libraryDependencies += "org.apache.httpcomponents" % "httpclient" % "4.2.5"

libraryDependencies += "com.typesafe" % "config" % "1.3.1"

scalacOptions += "-target:jvm-1.8"
我用谷歌搜索了这个错误,却一无所获。不知道如何从这里开始。任何建议都将不胜感激。

1 个答案:

答案 0 :(得分:0)

sudo alternatives --config java

出现提示时,选择java(jre)1.8然后重试