我已经在独立群集管理器上运行了火花,我决定尝试使用Mesos。
当我使用客户端模式时,一切正常。 如果我想在集群模式下运行,我意识到我必须启动" mesos集群调度程序"。 我尝试用常规脚本启动它:
./ start-mesos-dispatcher mesos:// ip:5050
以及使用以下链接中的路线
http://www.simosh.com/article/dbcjefbf-start-spark-via-mesos.html
但群集模式在两种情况下都不起作用。在他们两个中,我在Mesos UI中看到提交了驱动程序,但几秒钟之后它就被杀了。
之后我尝试在客户端模式下向mesos提交作业,再次使用调度程序,我看到提交过程卡在以下步骤中:
I0509 11:09:44.550375 3339 sched.cpp:326]在master@127.0.1.1检测到新主人:7078 I0509 11:09:44.555305 3339 sched.cpp:336]没有提供凭据。试图在没有认证的情况下注册
在spark日志中,我看到调度程序已正确启动,我看到框架已在Mesos UI中注册。
是否有一些我缺少的设置?