Question

我在本地模型和集群模型中安装了zeppelin。它们都已成功安装和连接。但是，尽管有zeppelin示例，但集群模型无法处理我的代码。它开始并且正在等待并且运行了很长时间，然后每次都会导致此错误：

java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds]

然后我打开日志目录并打开我的zeppelin-interpreter-spark-pipeline-lls6.log。我粘贴ERROR日志信息打击：

错误[2015-07-09 17：30：20,721]（{pool-1-thread-2} ProcessFunction.java [process]：41） - 内部错误处理 getProgress org.apache.zeppelin.interpreter.InterpreterException： java.util.concurrent.TimeoutException：期货在[10000]之后超时毫秒] at org.apache.zeppelin.interpreter.ClassloaderInterpreter.open（ClassloaderInterpreter.java:76）在org.apache.zeppelin.interpreter.LazyOpenInterpreter.open（LazyOpenInterpreter.java:68）在org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress（LazyOpenInterpreter.java:109） at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.getProgress（RemoteInterpreterServer.java:297） at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService $ Processor $ getProgress.getResult（RemoteInterpreterService.java:938） at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService $ Processor $ getProgress.getResult（RemoteInterpreterService.java:923）在org.apache.thrift.ProcessFunction.process（ProcessFunction.java:39）在org.apache.thrift.TBaseProcessor.process（TBaseProcessor.java:39）在org.apache.thrift.server.TThreadPoolServer $ WorkerProcess.run（TThreadPoolServer.java:206）在java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1145） at java.util.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:615）在java.lang.Thread.run（Thread.java:745）

示例bank-full.txt我移到了hdfs目录。同样的情况没有出现在本地模型中。

我们的群集是独立的。所有版本都是spark-1.3 hadoop-2.0.0-CDH-4.5.0。在conf下我添加了主网址。有没有人遇到这种情况，并告诉我如何解决它。

全部谢谢！

Answer 1

似乎我的问题是使用具有固定IP的EMR集群。在集群模型Hadoop中，Spark集群应该与zeppelin服务器不同。 MasterURL应该改为，

export MASTER="spark://master_addr:7077"

并仔细检查绑定解释器到zeppelin服务器。

export SPARK_HOME=XXX
export SPARK_CONF_DIR=XXX
export HADOOP_HOME=XXX
export HADOOP_CONF_DIR=XXX
export SPARK_YARN_JAR=XXX
export SPARK_CLASSPATH=XXX

为什么spark集群上的zeppelin服务器不响应？

1 个答案: