我是Apache Hadoop的新手。我在 AWS 上安装了YARN集群,其中有一个主服务器和两个从属服务器。当我刚启动群集YARN时,我观察到某些应用程序是由用户 dr.who 使用应用程序类型YARN 启动的。这让我很困扰。希望有人可以帮助我。谢谢!
application_1531399885156_0041 dr.who hadoop YARN default Thu Jul 12 14:58:37 +0200 2018 N/A ACCEPTED UNDEFINED ApplicationMaster 0
答案 0 :(得分:0)
这是最新发布的Hadoop中的一个已知错误,并且还创建了JIRA。 dr.who 提交的应用程序,当用户杀死所有作业时,NodeManager就会关闭。
编辑:问题解决方法
问题,由于默认用户dr.who的权限不正确,客户无法通过Resource Manager UI查看日志。
解决方案,客户更改了core-site.xml中的以下属性以解决该问题。其他值(例如hdfs或mapred)也可以解决此问题。如果群集是由Ambari管理的,则应在Ambari> HDFS>配置>高级核心站点>添加属性中添加它
hadoop.http.staticuser.user=yarn
Hortonworks上发布了相同的威胁,并由Sandeep Nemuri回答,他写道:
- 阻止进一步的攻击:
a。使用防火墙/ IP表设置仅允许访问资源管理器端口的白名单IP地址(默认为8088)。在HA设置中的两个资源管理器上都执行此操作。这仅解决当前的攻击。为了永久保护您的群集,必须阻止所有HDP端点(例如WebHDFS)在防火墙外部进行开放访问。
b。使您的群集安全(以kerberized)。
- 清除现有攻击:
a。如果您的群集中已经出现上述问题,请过滤所有名为“ MYYARN”的应用程序,并在确认这些应用程序不是由您自己的用户合法提交后杀死它们。
b。您还需要手动登录集群计算机,并使用“ z_2.sh”或“ / tmp / java”或“ /tmp/w.conf”检查是否有任何进程并将其杀死。
该线程的链接为:dr.who