中型Hadoop / Spark群集管理

Question

如果这个问题更适合不同的渠道，请告诉我，但我想知道推荐的工具是什么，能够在大量远程服务器上安装，配置和部署hadoop / spark。我已经熟悉如何设置所有软件，但我正在尝试确定我应该开始使用哪些可以让我轻松部署到大量服务器上。我已经开始研究配置管理工具（即厨师，木偶，ansible），但是想知道什么是最好的，最友好的用户选择就在那里。我也不想使用spark-ec2。我应该创建自行开发的脚本来循环包含IP的主机文件吗？我应该用pssh吗？ PSCP？我希望能够根据需要使用尽可能多的服务器进行ssh并安装所有软件。

Answer 1

如果您有脚本语言方面的经验，那么您可以去找厨师。这些配方已经可用于集群的部署和配置，并且很容易入手。

如果想要自己做，那么你可以使用sshxcute java API在远程服务器上运行脚本。您可以在那里构建命令并将它们传递给sshxcute API以部署群集。

Answer 2

查看Apache Ambari。它是集中管理，添加新节点，监控集群等的绝佳工具。这将是您最好的选择。