CDH5.10上的多个版本的spark无法启动spark-submit

时间:2017-04-10 17:07:26

标签: cloudera hadoop2 cloudera-cdh cloudera-manager

我已经在CDH5.10上安装了火花2.0,请点击链接https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

在我点击spark2-submit --version之后的所有配置中,它给出了正确的版本,即2.0

然而,当我提交一份火花工作时。首先它说

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

这清楚地表明hadoop libs不在classpath中。我的问题是我的火花2安装有问题吗?一旦我们为驱动程序和核心添加了带有sparkExtralibCLasspath的jar,那么就说没有设置SPARK_HADOOP_CONF。 如何验证我的安装是否正确? 我也试图了解我的spark2 conf目录 我在stackoverflow上看到了很少的问题,例如https://community.cloudera.com/t5/Cloudera-Manager-Installation/CHD-5-7-spark-shell-java-lang-ClassNotFoundException-org-apache/td-p/42209NoClassDefFoundError com.apache.hadoop.fs.FSDataInputStream when execute spark-shell,但这没有帮助

我正在使用spark2-shell和spark2-submit命令

使用https://community.cloudera.com/t5/Cloudera-Manager-Installation/CDH-5-5-pyspark-java-lang-NoClassDefFoundError-org-apache-hadoop/td-p/34424节目进行的更多调查可能是如果我可以为spark2正确设置SPARK_EXTRA_LIB_PATH,那么我可以解决此问题。请有人指导我。感谢

0 个答案:

没有答案