我正在尝试使用Windows Server 2012中安装的Spark 2.0.1测试Zeppelin 0.6.2。
我启动了Spark master并测试了Spark Shell。 然后我在conf \ zeppeling-env.cmd文件中配置了以下内容:
set SPARK_HOME=C:\spark-2.0.1-bin-hadoop2.7
set MASTER=spark://100.79.240.26:7077
我没有设置HADOOP_CONF_DIR和SPARK_SUBMIT_OPTIONS(根据文档可选)
我检查了Interpreter配置页面中的值,并且spark master是Ok。
当我运行Zeppelin教程时 - > "将数据加载到表格中#34;请注意我收到连接拒绝错误。以下是错误日志中消息的一部分:
INFO [2016-11-17 21:58:12,518]({pool-1-thread-11} Paragraph.java [jobRun]:252) - 使用null org.apache.zeppelin.interpreter.LazyOpenInterpreter @运行段落20150210-015259_1403135953 8bbfd7 INFO [2016-11-17 21:58:12,518]({pool-1-thread-11} RemoteInterpreterProcess.java [reference]:148) - 运行解释器进程[C:\ zeppelin-0.6.2-bin-all \ bin \ interpreter.cmd,-d,C:\ zeppelin-0.6.2-bin-all \ interpreter \ spark,-p,50163,-l,C:\ zeppelin-0.6.2-bin-all / local-repo / 2C3FBS414] INFO [2016-11-17 21:58:12,614]({Exec Default Executor} RemoteInterpreterProcess.java [onProcessFailed]:288) - 解释器进程失败{} org.apache.commons.exec.ExecuteException:进程退出并显示错误:255(退出值:255) 在org.apache.commons.exec.DefaultExecutor.executeInternal(DefaultExecutor.java:404) 在org.apache.commons.exec.DefaultExecutor.access $ 200(DefaultExecutor.java:48) 在org.apache.commons.exec.DefaultExecutor $ 1.run(DefaultExecutor.java:200) 在java.lang.Thread.run(Thread.java:745) ERROR [2016-11-17 21:58:43,846]({Thread-49} RemoteScheduler.java [getStatus]:255) - 无法获取状态信息 org.apache.zeppelin.interpreter.InterpreterException:org.apache.thrift.transport.TTransportException:java.net.ConnectException:连接被拒绝:连接 在org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:53) 在org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:37) 在org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60) at org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:861) at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) 在org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:363) 在org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:189) 在org.apache.zeppelin.scheduler.RemoteScheduler $ JobStatusPoller.getStatus(RemoteScheduler.java:253) 在org.apache.zeppelin.scheduler.RemoteScheduler $ JobStatusPoller.run(RemoteScheduler.java:211) 引起:org.apache.thrift.transport.TTransportException:java.net.ConnectException:连接被拒绝:连接 在org.apache.thrift.transport.TSocket.open(TSocket.java:187) 在org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51) ......还有8个 引起:java.net.ConnectException:连接被拒绝:连接 at java.net.DualStackPlainSocketImpl.connect0(Native Method) 在java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:79) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182) 在java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172) 在java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) 在java.net.Socket.connect(Socket.java:579) 在org.apache.thrift.transport.TSocket.open(TSocket.java:182) ......还有9个 ERROR [2016-11-17 21:58:43,846]({pool-1-thread-11} Job.java [run]:189) - 工作失败 org.apache.zeppelin.interpreter.InterpreterException:org.apache.zeppelin.interpreter.InterpreterException:org.apache.thrift.transport.TTransportException:java.net.ConnectException:连接被拒绝:连接 在org.apache.zeppelin.interpreter.remote.RemoteInterpreter.init(RemoteInterpreter.java:165) at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:328) 在org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:105) 在org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:260) 在org.apache.zeppelin.scheduler.Job.run(Job.java:176) 在org.apache.zeppelin.scheduler.RemoteScheduler $ JobRunner.run(RemoteScheduler.java:328) at java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:471) 在java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201(ScheduledThreadPoolExecutor.java:178) at java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) 在java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:615) 在java.lang.Thread.run(Thread.java:745)
在Zeppelin日志中,zeppelin只有一个文件,解释器是一个外部Spark安装,它没有记录任何错误,因为解释器进程从未到达过它。 我读了一些关于JVM的最大和最小内存的建议,但我还无法修复它。 任何评论将不胜感激。
保