HDFS NFS网关“没有可供用户使用的组”警告

Question

我正在使用NFS网关服务将一些数据摄取到HDFS（CDH 5.4.5）。

在收到消息警告通知我记录目录可用空间运行非常低之前，所有似乎都很好。我快速查看了大日志文件：

sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'

...并注意到一个名为/var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out的34GB文件。快速查看内部显示几乎完全由此警告组成：

2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]

看到这一点，我将some_user用户添加到hdfs组，即运行NFS网关的节点上的usermod -a -G hdfs some_user，然后重新启动NFS网关服务。不幸的是，“没有可供用户使用的群组......”消息仍然以凶猛的速度登录。

你能看出我做错了什么吗？是否需要在每个节点上设置some_user帐户，而不仅仅是NFS网关？我是否需要做更多的事情而不仅仅是重新启动服务以使更改生效？

Answer 1

需要在namenode上设置用户及其组。默认情况下，Hadoop从那里的操作系统设置中获取组映射。例如，请参见：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Group_Mapping