Question

我使用Zeppelin 0.7.0来运行Spark作业。我的Zeppelin是一个独立的安装，而Spark是使用Hortonworks / Ambari（2.6版）安装的。当我检查Ambari中Spark的状态时，它全部为绿色。对于许多口译员来说，Zeppelin运行良好。但是Spark解释器不起作用。我尝试做的任何事情，即使像sc.version这样简单的事情也会发出同样的错误：

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

这个错误非常意外地发生了。 Spark解释器工作正常，直到几周前这个错误开始出现。我重新启动了Spark和Zeppelin，但错误仍然存在。 Zeppelin或Spark的配置文件中没有对其进行任何更改。

Answer 1

我在Zeppelin遇到了同样的问题，并使用Interpreter设置进行了修复。

转到Interpreter并搜索并选择spark Interpreter
点击修改，然后将name和value添加为zeppelin.spark.useHiveContext = false

希望这有效！

Answer 2

请更多地检查解释器日志，您看到的错误是由于无法创建SparkContext，您需要检查日志以查看SparkContext无法创建的原因。

Spark Interpreter在Zeppelin中不起作用

2 个答案: