如何将Cloudera Manager连接到现有Spark群集

Question

我有以下要求：我需要通过Puppet配置Cloudera Manager和Spark Cluster，但之后我需要通过Cloudera Manager UI进行最少（或无）配置。我正在寻找的理想场景如下：

拓扑：3个节点（其中node1为spark-master，node2和node3为spark-workers）

1. 提供spark集群（这可以按预期工作），我有工作CDH5.5 Spark集群（通过运行Spark Pi示例验证）
2. 在spark-master节点上安装CM服务器
3. 在所有节点上安装CM代理
4. 启动CM服务器和代理

我正在使用razorsedge / cloudera puppet模块来配置Cloudera Manager（https://forge.puppetlabs.com/razorsedge/cloudera），我有定制的Spark puppet模块，它支持CDH5.5 Spark安装

当我打开Cloudera Manager UI时，我可以看到所有三个节点，但我在CM UI仪表板上看不到任何Spark相关的统计信息。

在调查cm代理和服务器日志时，这些是调查结果：

1. cm代理登录spark-master（未连接到CM服务器，无法在CM UI仪表板上看到）

  

[12 / Jan / 2016 23:13:11 +0000] 4678 MainThread Agent ERROR心跳到EC2_PUBLIC_DNS：7182失败

1. cm代理登录spark-workers（成功连接到CM服务器，可以在CM UI仪表板上看到）

2. cm服务器登录spark-master：

  

org.apache.avro.AvroRuntimeException：未知数据类型：java.lang.IllegalArgumentException：主机名无效EC2_LOCAL_IPV4

知道这可能是什么问题吗？

我也在寻找以下答案：

1. 是否可以在不使用Cloudera Manager UI的情况下配置一些CDH服务（在我的情况下为Spark），然后将其连接到CM？
2. 如果是，需要将哪个CM配置更改为指向现有的Spark Cluster？

非常感谢任何帮助/指导