Question

我正在尝试定义Hadoop集群的架构（大约10/15个节点），主要用于批处理（指标预聚合）。

我为我的节点确定了5个角色：Master，Master HA，Slave，Service，Gateway，并尝试区分要安装的软件组件。这是结果。我不确定。是否必须在从属节点上安装客户端（Hive / Sqoop / Spark）？

这个架构看起来与您相关吗？缺少什么？谢谢你的帮助！

Answer 1

Do the clients (Hive/Sqoop/Spark) have to be installed on the slave nodes?

不是真的。客户端是具有运行Hive / Sqoop / Spark作业的库的节点/服务器。只要您从该机器提交作业就应该没有问题。根据我的说法，这个架构看起来还不错。