Question

我正在尝试使用Mesos在我们的8节点集群上设置Kafka和Spark，但是在使用Mesos主机的zookeeper端点启动/启动Mesos Salve时会出现问题。

1）在3个节点（server00，server01，server02）上安装和设置Zookeeper（通过 $ KAFKA_HOME / config / zookeeper.properties ）

2）在所有8个节点上安装Kafka代理（并通过在 $ KAFKA_HOME / config / server.properties 中设置以下属性将其指向3个动物园管理员）

zookeeper.connect=server00:2181,server01:2181,server02:2181

3）在3个节点（server00，server01，server02）上安装Mesos master，并使用以下行更新 / etc / mesos / zk ：

zk://server00:2181,server01:2181,server02:2181/mesos

4）在所有8个节点上安装Mesos从站。

5）在所有其他服务器上编辑 / etc / mesos / zk 文件以获得以下行。

zk://server00:2181,server01:2181,server02:2181/mesos

6）在所有3个主服务器上启动Mesos master，如下所示（通过启动http://server00:5050/#/，http://server01:5050/#/，http://server02:5050/#/

验证所有Mesos主服务器是否正在运行且可用

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos

7）在所有8台服务器上启动Mesos slave。在server00上启动它的示例：

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150 但上面没有启动奴隶/代理。

但是下面的命令确实让我觉得也许master masos没有注册到zookeepers。

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150

任何人都可以了解是否 1）我的配置不正确或 2）如果我必须为Mesos集群设置单独的zookeepers？ 3）如何验证Mesos主人是否已在zookeeper注册？

一旦这个设置工作，我打算在所有8个节点上运行Spark。

Answer 1

在Ubuntu上，至少/etc/mesos/zk和/etc/mesos下的其他配置文件只能由/usr/bin/mesos-init-wrapper读取。因此，你的主人没有看到你的zk配置。

您需要使用init脚本（service mesos-master start）启动它，手动运行包装器，或使用-zk选项mesos-master：

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos --zk=zk://server00:2181,server01:2181,server02:2181/mesos

`

使用相同的zookeeper为Kafka和Mesos发行

1 个答案: