单个hadoop集群中的多个环境

Question

是否可以在单个hadoop集群中设置多个环境（prod，pre-prod，dev等..）？我们的想法是拥有一个集群，并为每个环境分别设置分区，并将这些目录的访问权限仅限于所需用户（取决于环境）。另外，要限制作业提交，请使用队列启用资源池。

这是可行的选择吗？这个设置可能存在哪些问题？

Answer 1

原则上是可能的。至少，您需要引入Kerberos安全性来控制对群集资源的访问。还可以考虑使用Ranger或Sentry来管理您的访问角色，因为否则所有服务的访问管理几乎是不可能的。请注意，所有这些工具仍然有一些粗糙的边缘。