将MR作业提交给具有不同ID的Hadoop集群

Question

我们可以将MR作业提交给hadoop群集的最佳方式是什么？

方案：

开发人员拥有自己的ID，例如dev-user1，dev-user2等。

Hadoop集群具有各种组件的各种ID，例如用于HDFS的hdfs用户，用于YARN的纱线等。

这意味着dev-user1无法读取/写入HDFS，因为它是可以访问HDFS的hdfs id。

任何人都可以帮助我了解开发人员可以向hadoop群集提交作业的最佳做法是什么？我不想向任何人分享hadoop“特定”ID细节。

在现实生活中如何运作。

Answer 1

  

开发人员可以向hadoop群集提交作业的最佳做法吗？

取决于工作... yarn jar将用于MapReduce

  

这意味着dev-user1无法读取/写入HDFS，因为它是可以访问HDFS的hdfs id。

并非所有内容都归hdfs用户所有。您需要创建该用户拥有的/user/dev-user1 HDFS目录，以便用户拥有＆＃34; private＆＃34;空间。您仍然可以在多个用户写入的HDFS上的任何其他位置创建目录。

只有在HDFS上明确启用了权限才会检查权限...即使您这样做了，您仍然可以将两个用户放入同一个POSIX组，或者使所有目录全局写入。

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html

在生产等级群集中，Hadoop由Kerberos凭据保护，ACL通过Apache Ranger或Sentry进行管理，这两者都允许细粒度的权限管理