通过mesos调度程序提交作业时,Mesos上的Spark工作无效

时间:2016-05-09 11:16:55

标签: apache-spark mesos

我已经在独立群集管理器上运行了火花,我决定尝试使用Mesos。

当我使用客户端模式时,一切正常。 如果我想在集群模式下运行,我意识到我必须启动" mesos集群调度程序"。 我尝试用常规脚本启动它:

  

./ start-mesos-dispatcher mesos:// ip:5050

以及使用以下链接中的路线

http://www.simosh.com/article/dbcjefbf-start-spark-via-mesos.html

但群集模式在两种情况下都不起作用。在他们两个中,我在Mesos UI中看到提交了驱动程序,但几秒钟之后它就被杀了。

之后我尝试在客户端模式下向mesos提交作业,再次使用调度程序,我看到提交过程卡在以下步骤中:

  

I0509 11:09:44.550375 3339 sched.cpp:326]在master@127.0.1.1检测到新主人:7078   I0509 11:09:44.555305 3339 sched.cpp:336]没有提供凭据。试图在没有认证的情况下注册

在spark日志中,我看到调度程序已正确启动,我看到框架已在Mesos UI中注册。

是否有一些我缺少的设置?

0 个答案:

没有答案