我想为每个用户创建目录。
我看了几个方法,他们说不同的东西, 我希望它尽可能简单(我不关心加密,因为用户将使用他们的ssh密钥登录到机器)
我找到了这个小指南: hadoop user file permissions
但是几乎没有问题,
我是否也需要在每台从站/节点机器上创建目录和用户?
什么是/ user / myuser文件夹?它应该是$ HADOOP_HOME / etc / hadoop / hdfs-site.xml文件中的/ opt / hadoop / dfs / name / data(dfs.data.dir
)文件夹吗?
我是否还需要为每个用户提供/创建一个dfs.name.dir
目录?
在创建用户和目录后,是否需要在用户的.bashrc文件中添加一些参数,或者赋予它们使用hadoop命令的特定权限? (例如,输入/删除文件,创建dirs ......)
我忘记了别的什么?
P.S 如果重要的话,我的Hadoop会使用火花。
答案 0 :(得分:0)
我是否还需要在每个从属/节点机器上创建文件夹和用户?
没有。只需通过程序或简单使用hadoop fs -mkdir /foo
这个/ user / myuser文件夹究竟是什么?它应该是$ HADOOP_HOME / etc / hadoop / hdfs-site.xml文件中的/ opt / hadoop / dfs / name / data(dfs.data.dir)文件夹吗?
该文件夹是您在linux上home
下的标准用户目录所期望的。运行作业/任务/程序的用户在其文件夹中具有权限。请注意,HDFS默认情况下不会创建这些目录,除非使用Apache Ambari或Hue等添加用户。
我是否还需要为每个用户提供/创建dfs.name.dir目录?
你没有!它们共享相同的dfs