在hadoop集群中运行Spark作业时，我收到了java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration

Question

当我尝试运行连接hbase数据库的scala代码时，它在我的本地IDE中运行良好。但是当我在hadoop集群中运行相同时，我得到“线程中的异常”主“java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration”错误。

请帮助我

Answer 1

将所有HBase库jar添加到HADOOP_CLASSPATH -

export HBASE_HOME="YOUR_HBASE_HOME_PATH"
export HADOOP_CLASSPATH="$HADOOP_CLASSPATH:$HBASE_HOME/lib/*"

您可以将HADOOP_CLASSPATH所需的任何外部jar附加到其中，这样您就不需要在spark-submit命令中显式设置它。所有相关的jar都将被加载并提供给您的Spark应用程序。