如果我将此工件添加到Zeppelin com.knockdata:spark-highcharts:0.6.4它会给出错误org.apache.thrift.transport.TTransportException
即使是这样的简单示例也会导致错误:
val x = Array(1,2,3,4)
val rdd = sc.parallelize(x)
问题肯定与%spark有关,因为%md和%sh工作。我有Spark版本spark-2.1.0-bin-hadoop2.6。
Spark日志中没有消息。在zeppelin-interpreter-spark-root-(hostname).log中,它说:
com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_ARRAY but was
BEGIN_OBJECT at line 1 column 2
at com.google.gson.Gson.fromJson(Gson.java:802)
at com.google.gson.Gson.fromJson(Gson.java:757)
at com.google.gson.Gson.fromJson(Gson.java:706)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.convert(RemoteInterprete
rServer.java:425)
org.apache.zeppelin.interpreter.InterpreterException:线程“main”中的异常java.lang.NoSuchMethodError:scala.Predef $ .wrapRefArray([Ljava / lang / Object;)Lscala / collection / mutable / WrappedArray;
答案 0 :(得分:1)
spark-highcharts:0.6.4
不支持zeppelin:0.7.2
。来自spark-highcharts
的依赖关系明确说明了要使用的zeppelin
版本,并且它不是二进制兼容的。这就是报告错误的原因。
该版本已被提升至spark-highcharts:0.6.5
以支持zeppelin:0.7.2(spark:2.1)
。