齐柏林飞艇通过livy与livy.sparkr一起使用无效

时间:2018-12-21 02:45:00

标签: apache-spark apache-zeppelin sparkr livy

我的livy.pyspark正常运行,但livy.sparkr失败

df <-createDataFrame(忠实) [1]“ getSparkSession()中的错误:SparkSession未初始化”

当我看到青葱的日志时

18/12/21 02:37:03 INFO LineBufferedStream:标准输出:18/12/21 02:37:03 INFO SparkEntries:Spark上下文在10741ms内完成了初始化 18/12/21 02:37:03 INFO LineBufferedStream:标准输出:18/12/21 02:37:03 INFO SparkEntries:创建了Spark会话(具有Hive支持)。 18/12/21 02:37:06 INFO RSCClient:收到3d3491ff-2173-49e8-a09d-b918d1e89d77的结果 18/12/21 02:37:06 INFO InteractiveSession:创建了交互式会话2 [appid:application_1544485759793_0040,所有者:null,proxyUser:Some(admin),状态:空闲,种类:sparkr,信息:{driverLogUrl = null,sparkUiUrl =空值}] 18/12/21 02:37:06信息LineBufferedStream:标准输出:线程“ SparkR后端”中的异常java.lang.ClassCastException:scala.Tuple2无法转换为java.lang.Integer 18/12/21 02:37:06信息LineBufferedStream:标准输出:在scala.runtime.BoxesRunTime.unboxToInt(BoxesRunTime.java:101) 18/12/21 02:37:06信息LineBufferedStream:标准输出:在org.apache.livy.repl.SparkRInterpreter $$ anon $ 1.run(SparkRInterpreter.scala:83)

我该如何解决?齐柏林飞艇0.7.3,火花2.2.1上为小黄蜂0.5 我尝试直接在集群上运行sparkr,它工作正常

0 个答案:

没有答案