使用java API运行spark Hbase时线程“main”java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration中的异常

Question

我正在运行简单的应用程序，使用java API从 Spark 中获取HBase中的数据

运行 spark-submit命令，例如

bin/spark-submit --master spark://192.168.43.75:7077 --class com.scry.NLPAnnotationController --driver-class-path /usr/lib/hbase/hbase-0.98.22-hadoop2/conf:$SPARK_HOME/lib_managed/jars/*.jar:$HBASE_CLASSPATH/*.jar --jars $SPARK_HOME/lib_managed/jars/*.jar:$HBASE_CLASSPATH/*.jar /home/deepak/hbase.jar

它给出了错误，如

  

线程“main”中的异常java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration

请帮助解决此问题。

提前致谢， 迪帕克

Answer 1

在运行spark-submit的控制台中，首先执行以下命令，然后运行spark-submit

export HADOOP_CLASSPATH = $ HADOOP_CLASSPATH：$ HBASE_CLASSPATH

如果有效，请在hadoop-env.sh

中添加此条目

希望它有所帮助...