Hadoop用户/文件夹权限

时间:2017-10-24 08:28:24

标签: hadoop

我想为每个用户创建目录。

我看了几个方法,他们说不同的东西, 我希望它尽可能简单(我不关心加密,因为用户将使用他们的ssh密钥登录到机器)

我找到了这个小指南: hadoop user file permissions

但是几乎没有问题,

  1. 我是否也需要在每台从站/节点机器上创建目录和用户?

  2. 什么是/ user / myuser文件夹?它应该是$ HADOOP_HOME / etc / hadoop / hdfs-site.xml文件中的/ opt / hadoop / dfs / name / data(dfs.data.dir)文件夹吗?

  3. 我是否还需要为每个用户提供/创建一个dfs.name.dir目录?

  4. 在创建用户和目录后,是否需要在用户的.bashrc文件中添加一些参数,或者赋予它们使用hadoop命令的特定权限? (例如,输入/删除文件,创建dirs ......)

    我忘记了别的什么?

    P.S 如果重要的话,我的Hadoop会使用火花。

1 个答案:

答案 0 :(得分:0)

  

我是否还需要在每个从属/节点机器上创建文件夹和用户?

没有。只需通过程序或简单使用hadoop fs -mkdir /foo

在主服务器上创建文件夹就足够了
  

这个/ user / myuser文件夹究竟是什么?它应该是$ HADOOP_HOME / etc / hadoop / hdfs-site.xml文件中的/ opt / hadoop / dfs / name / data(dfs.data.dir)文件夹吗?

该文件夹是您在linux上home下的标准用户目录所期望的。运行作业/任务/程序的用户在其文件夹中具有权限。请注意,HDFS默认情况下不会创建这些目录,除非使用Apache Ambari或Hue等添加用户。

  

我是否还需要为每个用户提供/创建dfs.name.dir目录?

你没有!它们共享相同的dfs