我正在尝试使用Zeppelin(使用mvn clean package编译的0.7-0快照-Pcassandra-spark-1.6 -Dscala-2.11 -DskipTests) 使用外部的独立Spark版本1.6.1
我试图通过在/zeppelin/conf/zeppelin-env.sh中输入export MASTER = spark:// mysparkurl:7077来设置它 在%spark interpeter设置下,通过Zeppelin GUI,我还尝试将master-parameter设置为spark:// mysparkurl:7077。
到目前为止,连接Spark的尝试都没有成功。这是我用于测试Zeppelin外部火花的一段代码以及我得到的错误:
%spark
val data = Array(1,2,3,4,5)
val distData = sc.parallelize(data)
val distData2 = distData.map(i => (i,1))
distData2.first
data: Array[Int] = Array(1, 2, 3, 4, 5)
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
Zeppelin正在docker容器中运行,Spark正在主机上运行。
我在这里遗漏了什么吗?是否需要配置其他东西才能使Zeppelin与外部独立Spark一起使用?
答案 0 :(得分:0)
正如Cedric H.提到的那样,那时你必须用-Dscala-2.10
编译Apache Zeppelin。
自9月以来已经修复了很少的错误,Scala 2.11支持现在应该可以正常工作,如果没有 - 请在official project JIRA中提交问题。