我已经在CDH5.10上安装了火花2.0,请点击链接https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
在我点击spark2-submit --version之后的所有配置中,它给出了正确的版本,即2.0
然而,当我提交一份火花工作时。首先它说Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
这清楚地表明hadoop libs不在classpath中。我的问题是我的火花2安装有问题吗?一旦我们为驱动程序和核心添加了带有sparkExtralibCLasspath的jar,那么就说没有设置SPARK_HADOOP_CONF。 如何验证我的安装是否正确? 我也试图了解我的spark2 conf目录 我在stackoverflow上看到了很少的问题,例如https://community.cloudera.com/t5/Cloudera-Manager-Installation/CHD-5-7-spark-shell-java-lang-ClassNotFoundException-org-apache/td-p/42209和NoClassDefFoundError com.apache.hadoop.fs.FSDataInputStream when execute spark-shell,但这没有帮助
我正在使用spark2-shell和spark2-submit命令
使用https://community.cloudera.com/t5/Cloudera-Manager-Installation/CDH-5-5-pyspark-java-lang-NoClassDefFoundError-org-apache-hadoop/td-p/34424节目进行的更多调查可能是如果我可以为spark2正确设置SPARK_EXTRA_LIB_PATH,那么我可以解决此问题。请有人指导我。感谢