dcos-kafka-service和mesos-kafka之间的差异

时间:2017-06-07 17:33:56

标签: apache-kafka mesos mesosphere dcos

我正在做POC以将Kafka部署为Mesos Cluster上的应用程序。我在github上遇到了这两个代码库。一个由apache-mesos开发的(github page)&其他由mesosphere开发,只能在DCOS上运行(github page)。

问题:想知道DCOS-Kafka& mesos-Kafka在功能和扩展功能方面。

关于Mesos-Kafka: 在过去的几个月里,我没有看到mesos-kafka积极参与github(以及一些公开的问题)。我可以假设该服务足够强大,我可以在生产环境中使用吗?对此的任何输入都会有所帮助。

1 个答案:

答案 0 :(得分:0)

kakfa-mesos是一个软件包,其中包含一个Kafka版本和一个自定义mesos调度程序,旨在解决将Kafka作为Marathon上的有状态服务运行的问题。我认为post但是汇合是有用的。它还包括用于执行操作任务的RESTful api,并且旨在将来包含这些功能(这是从我链接的文章中提取的)

  • 将Kafka命令(例如kafka-topics等)集成到Scheduler中,以便可以通过CLI和REST API使用它。
  • 自动扩展群集(包括分区的自动重新分配),以便经纪人正在使用的资源(CPU,RAM等)可以在已知的流量谷中的其他地方使用。
  • 用于容错的机架感知分区分配。
  • 挂钩,以便生产者和消费者也可以从调度程序启动并使用群集进行管理。
  • 基于负载和流量的自动分区重新分配

我自己没有在生产环境中使用它,但它得到了Confluent的支持,这是一个好兆头。

另一方面,DC / OS Kafka是一种DC / OS服务,如果您已经运行或计划通过Mesosphere的DC / OS运行服务,它可能只有用。它还包括一个API和一个CLI管理工具,但没有其他功能的雄心勃勃。它的当前功能集包括

  • 用于快速配置的单一命令安装
  • 使用DC / OS进行多租户的多个集群
  • 高可用性运行时配置和软件更新
  • 用于增强数据持久性的存储卷,称为Mesos Dynamic * * Reservations和Persistent Volumes
  • 与用于诊断和故障排除的与syslog兼容的日志记录服务集成
  • 与容量和性能监控的statsd兼容指标服务集成