通过Livy创建Spark会话时出现反射错误

时间:2018-11-22 14:49:50

标签: scala apache-spark livy

我正在通过LivyClient创建一个Spark会话。 用于创建会话的代码是-

dynamic_cast

在创建会话时,出现错误-

线程“ main”中的异常scala.reflect.internal.FatalError:对象Predef没有成员classOf enter image description here

我正在使用以下版本-

  1. Apache Livy-孵化0.5.0
  2. Apache Spark-2.3.0
  3. 斯卡拉-2.11(2.11.8)

我已经检查了所有三个中的scala-reflect版本,它们是相同的。

我无法理解导致以下错误的原因

1 个答案:

答案 0 :(得分:1)

您正在使用什么版本的Java?似乎Java 9中有关放弃不赞成使用的功能的更改使Spark停止运行,并带有涉及反射的错误。主页说Java必须至少是版本8。