Hbase-Spark:线程中的异常" main" java.lang.NoClassDefFoundError:org / apache / spark / Logging

时间:2017-07-24 11:26:22

标签: java apache-spark hbase

我正在尝试使用Spark 2.0.2从本页中的代码获取hbase数据库(1.2.5)中的数据: https://github.com/apache/hbase/blob/master/hbase-spark/src/main/java/org/apache/hadoop/hbase/spark/example/hbasecontext/JavaHBaseBulkGetExample.java

但是我收到了这个错误:

  

线程中的异常" main" java.lang.NoClassDefFoundError:   org / apache / spark / logging at java.lang.ClassLoader.defineClass1(Native   方法)在java.lang.ClassLoader.defineClass(ClassLoader.java:763)     在   java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)     在java.net.URLClassLoader.defineClass(URLClassLoader.java:467)at   java.net.URLClassLoader.access $ 100(URLClassLoader.java:73)at   java.net.URLClassLoader $ 1.run(URLClassLoader.java:368)at   java.net.URLClassLoader $ 1.run(URLClassLoader.java:362)at   java.security.AccessController.doPrivileged(Native Method)at   java.net.URLClassLoader.findClass(URLClassLoader.java:361)at   java.lang.ClassLoader.loadClass(ClassLoader.java:424)at   java.lang.ClassLoader.loadClass(ClassLoader.java:357)at   。com.cloudera.spark.hbase.JavaHBaseContext(JavaHBaseContext.scala:23)     在org.hipi.examples.Test.main(Test.java:71)at   sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at   sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)     在   sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     在java.lang.reflect.Method.invoke(Method.java:498)at   org.apache.spark.deploy.SparkSubmit $ .ORG $阿帕奇$火花$部署$ SparkSubmit $$ runMain(SparkSubmit.scala:736)     在   org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1(SparkSubmit.scala:185)     在org.apache.spark.deploy.SparkSubmit $ .submit(SparkSubmit.scala:210)     在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:124)     在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)导致   by:java.lang.ClassNotFoundException:org.apache.spark.Logging at   java.net.URLClassLoader.findClass(URLClassLoader.java:381)at   java.lang.ClassLoader.loadClass(ClassLoader.java:424)at   java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  ......还有22个

我在互联网上看到Logging类仅存在于spark 1.5.2及更低版本中。

即使使用Spark 2.0.2,还有任何解决方案可以解决这个问题吗?

1 个答案:

答案 0 :(得分:0)