如何在minimesos中使用马拉松启动kafka调度程序?

时间:2016-01-06 20:30:34

标签: docker apache-kafka marathon minimesos

我正在尝试使用在https://github.com/mesos/kafka/tree/master/src/docker#running-image-in-marathon中规定的docker容器启动kafka-mesos框架调度程序,使用在minimesos中运行的Marathon实现(我想添加minimesos标记,但是没有点)。该应用程序已注册,可以在Marathon控制台中看到,但它仍处于等待状态,而部署GUI表示它正在尝试使用ScaleApplication。

我已经尝试在marathon和mesos-master容器中查找/ var / log文件,这些文件可能会显示为什么会发生这种情况。最初我认为可能是因为没有拉动图像,所以我将"forcePullImage": true添加到JSON应用程序配置中,但它仍然等待。假设这与http://minimesos.readthedocs.org/en/latest/的minimesos警告一致,我也将网络从HOST更改为BRIDGE。

在mesos日志中,我看到:
I0106 20:07:15.259790 15 master.cpp:4967] Sending 1 offers to framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 (marathon) at scheduler-575c233a-8bc3-413f-b070-505fcf138ece@172.17.0.6:39111
I0106 20:07:15.266100 9 master.cpp:3300] Processing DECLINE call for offers: [ 5e1508a8-0024-4626-9e0e-5c063f3c78a9-O77 ] for framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 (marathon) at scheduler-575c233a-8bc3-413f-b070-505fcf138ece@172.17.0.6:39111
I0106 20:07:15.266633 9 hierarchical.hpp:1103] Recovered ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483 (total: ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483, allocated: ) on slave 5e1508a8-0024-4626-9e0e-5c063f3c78a9-S0 from framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000
I0106 20:07:15.266770 9 hierarchical.hpp:1140] Framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000 filtered slave 5e1508a8-0024-4626-9e0e-5c063f3c78a9-S0 for 2mins
I0106 20:07:16.261010 11 hierarchical.hpp:1521] Filtered offer with ports(*):[33000-34000]; cpus(*):1; mem(*):1001; disk(*):13483 on slave 5e1508a8-0024-4626-9e0e-5c063f3c78a9-S0 for framework 5e1508a8-0024-4626-9e0e-5c063f3c78a9-0000
I0106 20:07:16.261245 11 hierarchical.hpp:1326] No resources available to allocate!
I0106 20:07:16.261335 11 hierarchical.hpp:1421] No inverse offers to send out!
但我不确定这是否相关,因为它与Kafka App配置中的资源设置无关。 GUI显示没有创建任务。

我确实有10个mesosphere / inky docker任务与尝试的Kafka部署一起运行。这可能是特定于Kafka docker镜像的配置问题。我只是不知道调试它的最佳方法。也许是增加配置文件中的日志级别的情况。它可以是环境变量或网络设置。我正在深入研究它并将更新我的进展,但任何建议都将受到赞赏。

谢谢!

2 个答案:

答案 0 :(得分:1)

感谢你试试这个!我正在调查此问题,您可以在https://github.com/ContainerSolutions/minimesos/issues/188https://github.com/mesos/kafka/issues/172

上关注此问题的进展情况

答案 1 :(得分:0)

仅供参考我通过快速启动shell脚本在minimesos上安装了Mesos Kafka。在Mesos Kafka https://github.com/mesos/kafka/pull/183

上看到这个公关

它还没有使用Marathon和minimesos install命令。这是下一步。