将Spark-2.2.1设置为apache-hive-2.1.1的默认执行引擎

时间:2018-08-27 16:50:10

标签: apache-spark hadoop hive

Hadoop 2.7.3,Spark 2.2.1和Hive 2.1.1

当我尝试将数据加载到任何表时,蜂巢日志显示java.lang.NoClassDefFoundError:org / apache / spark / JavaSparkListener。

Caused by: java.lang.ClassNotFoundException: org.apache.spark.JavaSparkListener
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 19 more

可能是什么问题?这些是针对类似问题的Spark bug修复程序,该问题说spark 2.2.0应该具有解决方案。我的问题是,当我使用spark 2.2.1时,为什么我什至会遇到此问题。请求的jar应该已经在classpath的spark核心jar中了。

0 个答案:

没有答案