Apache Zeppelin 0.7.0-SNAPSHOT无法使用外部Spark

时间:2016-08-10 08:19:45

标签: apache-zeppelin

我正在尝试使用Zeppelin(使用mvn clean package编译的0.7-0快照-Pcassandra-spark-1.6 -Dscala-2.11 -DskipTests) 使用外部的独立Spark版本1.6.1

我试图通过在/zeppelin/conf/zeppelin-env.sh中输入export MASTER = spark:// mysparkurl:7077来设置它 在%spark interpeter设置下,通过Zeppelin GUI,我还尝试将master-parameter设置为spark:// mysparkurl:7077。

到目前为止,连接Spark的尝试都没有成功。这是我用于测试Zeppelin外部火花的一段代码以及我得到的错误:

%spark 
val data = Array(1,2,3,4,5)
val distData = sc.parallelize(data)
val distData2 = distData.map(i => (i,1))
distData2.first

data: Array[Int] = Array(1, 2, 3, 4, 5)
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

Zeppelin正在docker容器中运行,Spark正在主机上运行。

我在这里遗漏了什么吗?是否需要配置其他东西才能使Zeppelin与外部独立Spark一起使用?

1 个答案:

答案 0 :(得分:0)

正如Cedric H.提到的那样,那时你必须用-Dscala-2.10编译Apache Zeppelin。

自9月以来已经修复了很少的错误,Scala 2.11支持现在应该可以正常工作,如果没有 - 请在official project JIRA中提交问题。