通过cloudera manager

Question

我们正在测试我们公司的CDH 5.6，希望在不久的将来将其部署到生产中，但是我们仍然遇到了一个尚未回答的问题。

目前我们正在使用Cloudera Manager管理的两个集群：Central和Ingestion。我们的目的是将中央集群中的HDFS，Hive，Spark，Hue和Ingestion集群中的Flume，Sqoop，Kafka等服务分开。

当我们尝试将一个集群与另一个集群连接时出现问题，我们希望能够配置Sqoop2-2或Flume-2服务（提取集群）以直接与HDFS服务（位于中央集群中）进行通信。但是，据我们所知，我们无法在Cloudera Manager中执行此操作，因此它在配置中显示的唯一服务位于中央群集中。例如，如果我们尝试使用Sqoop2-2服务（Ingestion）配置Hue服务（中央集群），我们就无法在Hue服务配置中选择Sqoop2-2服务：

Hue service configuration for Central Cluster, only shows Sqoop2 service, not Sqoop2-2

我们想连接这些：

Sqoop2-2 service in Ingestion cluster

有没有办法通过Cloudera Manager在多个集群中配置跨服务，或者我们需要手动修改hdfs-site.xml以将Sqoop2-2服务（Ingestion）与HDFS服务（Central）连接？

提前感谢您的回答。

最好的问候。

Answer 1

我不相信在cloudera经理中有办法做到这一点。您可以通过使用/etc/hadoop/conf/hdfs-site.xml中从存储集群到摄取集群的大部分数据来完成这项工作。

无论如何将这些分开的原因是什么？通常，您希望您的守护进程尽可能靠近存储，以获得最佳性能。