我已经启动了apache zeppelin并在配置的端口中成功运行。 我正在执行简单的火花命令,如
sc.version
println(zeppelin)
我可以在运行按钮附近看到“ERROR”字符串,而我的控制台上没有任何错误输出。
我的错误日志:
ERROR [2016-10-21 22:38:05,837]({pool-2-thread-6} Job.java [run]:189) - 工作失败 org.apache.spark.SparkException:找到spark.driver.extraClassPath和SPARK_CLASSPATH。仅使用前者。 在org.apache.spark.SparkConf $$ anonfun $ validateSettings $ 7 $$ anonfun $ apply $ 8.apply(SparkConf.scala:492) 在org.apache.spark.SparkConf $$ anonfun $ validateSettings $ 7 $$ anonfun $ apply $ 8.apply(SparkConf.scala:490) 在scala.collection.immutable.List.foreach(List.scala:318) 在org.apache.spark.SparkConf $$ anonfun $ validateSettings $ 7.apply(SparkConf.scala:490) 在org.apache.spark.SparkConf $$ anonfun $ validateSettings $ 7.apply(SparkConf.scala:478) 在scala.Option.foreach(Option.scala:236) 在org.apache.spark.SparkConf.validateSettings(SparkConf.scala:478) 在org.apache.spark.SparkContext。(SparkContext.scala:398) 在org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_1(SparkInterpreter.java:440) 在org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:354) 在org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:137) 在org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:743) 在org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:93) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer $ InterpretJob.jobRun(RemoteInterpreterServer.java:341) 在org.apache.zeppelin.scheduler.Job.run(Job.java:176) 在org.apache.zeppelin.scheduler.FIFOScheduler $ 1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 在java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:617) 在java.lang.Thread.run(Thread.java:745)
我还提到了_zeppelin-env.sh_ file
中的spark和java路径。
答案 0 :(得分:0)
我知道,对于任何面临类似问题的人来说,这是一个很晚的答案。
即使我有类似的问题,我在解释器Mode for Spark中添加了一些外部依赖{ com.twitter:algebird-core_2.11:0.11.0 }。如果为任何组件添加了任何依赖项,则可能存在依赖项与Zeppelin版本不兼容或远程不存在的情况。删除该依赖项后,我开始在Zeppelin控制台上看到其他错误。
为了确保“ zeppelin.spark.printREPLOutput ”设置为 true ,通常默认情况下它只是真的,但只是为了确保!! < / p>