Question

我在我的群集上安装了zeppelin 0.6.0，它有火花1.4.1（HDP 2.3）。根据{{3}}我看到它支持spark 1.6但不确定它是否向后兼容。当我尝试在笔记本中运行sc.version时，我可以看到火花作业是以纱线形式提交的，但它在应用程序日志中出现以下错误时立即失败Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

我的SPARK_HOME路径正确无误。因此归结于不兼容问题

export MASTER=yarn-client        
export SPARK_YARN_JAR=/usr/hdp/current/spark-client/lib/spark-assembly-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar
export SPARK_HOME=/usr/hdp/current/spark-client

Answer 1

终于找到了解决方案。 Zeppelin 0.6适用于Spark 1.4.1。这是由于翻译而发生的。日志zeppelin-zeppelin-servername.log和.out文件有助于解决此问题。我在spark解释器中添加了highcharts artifact，但是无法找到该jar文件。提供正确的路径后，我能够运行高级图表并解决此问题。

zeppelin 0.6.0能与Spark 1.4.1一起使用吗？

1 个答案: