(Zeppelin + Livy)SparkUI.appUIAddress(),一定是错的

时间:2018-01-03 11:02:26

标签: apache-spark hadoop apache-zeppelin livy

我试图在这个文档之后使用Zeppelin配置livy: https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是当我跑步时:

%livy.spark
sc.version

我收到以下错误:

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用Zeppelin 0.7.3,Spark 2.2.1和Livy 0.4.0。 Spark在YARN上运行(hadoop 2.9.0)。这是vanilla安装,我不使用像cloudera / HDP这样的发行版。所有这些软件都在一台服务器上运行。

我可以使用--master yarn在spark-shell中运行示例org.apache.spark.examples.SparkPi,没有任何问题。所以我确认火花在YARN上运行良好。

任何帮助都将不胜感激。

谢谢, yusata。

1 个答案:

答案 0 :(得分:0)

此问题是由spark 2.2中的方法折旧引起的.pit 2.2中不再存在appUiAddress。

正如你在PR https://github.com/apache/zeppelin/pull/2231中看到的那样。 这个问题已经解决了。

不知怎的,你仍然遇到了这个问题。我认为降级Spark或使用更新版本的Zeppelin可以解决问题。